Knowledge distillation

Knowledge distillation (dịch thô là Chưng cất tri ​thức) là phương pháp nén mô hình trong đó một mô hình nhỏ được huấn luyện để bắt chước mô hình lớn hơn được huấn luyện trước đó.