KDGAN: Knowledge Distillation with Generative Adversarial Networks là bài báo của Xiaojie Wang, Rui Zhang, Yu Sun và Jianzhong Qi được duyệt đăng tại NIPS 2018.
Trong machine learning, các tài nguyên như dữ liệu huấn luyện, sức mạnh tính toán thường dồi dào hơn trong quá trình huấn luyện hơn là trong pha chạy mô hình. Các mô hình thường được huấn luyện trên các máy tình hiệu năng cao và được sử dụng trên các thiết bị nhỏ gọn hơn (như các điện thoại thông minh). Do đó việc nén mô hình là vô cùng quan trọng.
Knowledge distillation là kỹ thuật giúp huấn luyện một bô phân lớp nhỏ gọn và có độ chính xác cao trong bài toán học đa lớp. Thay vì học từ các cặp đầu ra/ đầu vào, mô hình sẽ học phân bố dữ liệu từ một mạng lớn hơn (gọi là teacher). Phương pháp này thường không tối ưu vì rất khó để mạng nhỏ học chính xác phân bố của mạng lớn. Một cách tiếp cận khác là sử dụng mạng sáng tạo đối nghịch (GAN) để bộ phân lớp có thể học được nhãn đúng tại điểm cân bằng của mạng từ một trò chơi có 2 đối thủ. Mặc dù vậy, cách tiếp cận này thường tốn giời gian. Vì vậy, các tác giả đề xuất KDGAN là một phương pháp gồm 3 bên tham gia: classifier, teacher và discriminator.
Trong trò chơi Minimax của KDGAN có 3 thành phần là classifier (C), teacher (T) và discriminator (D). T và C có chung nhiệm vụ là sinh ra các nhãn giả dựa trên phân bố xác suất mình học được, D loại bỏ các nhãn không phù hợp. C và D đều được trang bị lợi thế về sức mạnh tính toán. C cố gắng bắt chước phân bố xác suất mà T học được. Trong framework của mình, các tác giả cho phép T học từ C với quan sát rằng: trong thực tế, kiến thức của giáo viên có thể được tăng cường thông qua tương tác với học sinh.
Việc huấn luyện KDGAN dựa trên gradient descent và được mô tả dưới đây:
Các tác giả đánh giá mô hình thông qua hai thực nghiệm: (1) Nén mô hình trên MNIST và (2) đề xuất tag trên YFCC100M. Kết quả của KDGAN được thể hiện phía dưới:
Với kết quả thực nghiệm như trên, các tác giả đã chứng minh hiệu quả của KDGAN. Với framework gồm 3 thành phần classifier, teacher và discriminator, đây là một ý tưởng thú vị và đạt được kết quả SOTA trên hai thí nghiệm trong bài báo.
Nếu bạn thấy bài viết hữu ích, hãy chia sẻ với những người quan tâm. Hãy thường xuyên truy cập trituenhantao.io hoặc đăng ký (dưới chân trang) để nhận được những thông tin cập nhật về lĩnh vực!
-----