Vanishing Gradient

Là vấn đề xảy ra khi huấn luyện các mạng nơ ron nhiều lớp. Khi huấn luyện, giá trị đạo hàm là thông tin phản hồi của quá trình lan truyền ngược. Giá trị này trở nên vô cùng nhỏ tại các lớp nơ ron đầu tiên khiến cho việc cập nhật trọng số mạng không thể xảy ra.

Bạn muốn trích dẫn bài này:
-----
"Vanishing Gradient," Trí tuệ nhân tạo, Ngày xuất bản: 24/12/2019, URL: https://trituenhantao.io/tu-dien-thuat-ngu/vanishing-gradient/, Ngày truy cập: 01/04/2020.



Về trituenhantao.io

Trituenhantao.io là trang web chia sẻ thông tin, kiến thức, kinh nghiệm học tập và triển khai các chương trình và dự án sử dụng trí tuệ nhân tạo trên thế giới.
Xem tất cả các bài viết của trituenhantao.io →