distillation

Distillation (có thể dịch với cụm từ hoa mỹ là Chưng cất tri thức) là một kỹ thuật nén mô hình, theo đó một mạng nơ ron nhỏ (student – học sinh) được huấn luyện bởi một mạng lớn hơn (teacher – giáo viên).