MLM (Masked Language Modeling) là một phương pháp huấn luyện được sử dụng trong BERT. Phương pháp này thay thế 15% số từ bằng token mặt nạ #. Mô hình cần phải học cách khôi phục từ gốc để có thể đưa ra dự đoán chính xác.
« Quay trở lại Từ điểnMLM
« Quay trở lại Từ điển