Ồ, bạn đang chuẩn bị biến mình thành một kiến trúc sư của những bộ não nhân tạo phải không? Hãy thắt dây an toàn vào, vì chúng ta sẽ lái tàu trực tiếp đến thế giới của mạng nơ ron nhân tạo!

1. Hàm kích hoạt (Activation function): Đây là công cụ giúp mạng nơ ron của bạn tỉnh táo mỗi khi có đầu vào mới.

   $$y = f(z)$$

   Ví dụ, hàm kích hoạt phổ biến nhất là hàm sigmoid:

   $$f(z) = \frac{1}{1 + e^{-z}}$$

2. Hàm mất mát (Loss function): Đây là cách bạn để biết mạng nơ ron của mình đang gặp nạn hay đang vui vẻ.

   $$L(y, \hat{y})$$

   Ví dụ, hàm mất mát trung bình bình phương:

   $$L(y, \hat{y}) = \frac{1}{2}(\hat{y} - y)^2$$

3. Lan truyền tiến (Forward Propagation): Đây là cách bạn đưa dữ liệu qua mạng và tính toán đầu ra.

   $$z^{(l)} = W^{(l)}a^{(l-1)} + b^{(l)}$$

   $$a^{(l)} = f(z^{(l)})$$

4. Lan truyền ngược (Backward Propagation): Đây là cách bạn điều chỉnh các tham số để cải thiện dự đoán của mạng.

• Tính gradient của hàm mất mát với đầu ra:

  $$\delta^{(L)} = \nabla_a L \odot f'(z^{(L)})$$

• Tính gradient cho các lớp ẩn:

  $$\delta^{(l)} = (W^{(l+1)})^T \delta^{(l+1)} \odot f'(z^{(l)})$$

• Cập nhật các tham số:

  $$W^{(l)} := W^{(l)} - \eta \nabla_W L(W, b)$$

  $$b^{(l)} := b^{(l)} - \eta \nabla_b L(W, b)$$

5. Gradient Descent: Đây là cách bạn di chuyển xuống trên đồ thị hàm mất mát để tìm ra cực tiểu.

   $$\theta := \theta - \eta \nabla_\theta J(\theta)$$

6. Hàm tổng kết (Softmax): Nếu bạn đang làm việc với bài toán phân loại, hàm này sẽ làm cho đầu ra của bạn trở nên hợp lý hơn.

   $$\sigma(z)_i = \frac{e^{z_i}}{\sum_{j} e^{z_j}}$$

Nếu bạn thấy mạng nơ ron của mình rối rắm và cần một lời khuyên, đừng ngần ngại ghé qua trituenhantao.io nhé! Bạn sẽ vừa học hỏi vừa... không thể chối từ, tôi thề đấy!