ELECTRA – Thành viên mới của dòng họ Transformer

ELECTRA — Efficiently Learning an Encoder that Classifies Token Replacements Accurately — là phương pháp pretrain mới được công bố bởi Google AI vượt trội hơn các kỹ thuật hiện tại với cùng nguồn lực tính toán. Gần đây các tiến bộ của các mô hình pretrain đối với ngôn ngữ tự nhiên đã thay đổi tạo ra những đột phá đáng … Đọc tiếp

BLEU – Phép đo trong dịch máy

BLEU là viết tắt của Bilingual Evaluation Understudy, là phương pháp đánh giá một bản dịch dựa trên các bản dịch tham khảo, được giới thiệu trong paper BLEU: a Method for Automatic Evaluation of Machine Translation). BLEU được thiết kế để sử dụng trong dịch máy (Machine Translation), nhưng thực tế, phép đo này cũng được … Đọc tiếp

Teacher Forcing là gì? Nó hoạt động như thế nào?

Teacher Forcing là một kỹ thuật được sử dụng trong quá trình huấn luyện các mạng nơ ron nhân tạo. Kỹ thuật này được sử dụng phổ biến trong NLP (ví dụ như các bài toán viết mô tả cho ảnh hay dịch máy). Trong bài này, hãy cùng trituenhantao.io tìm hiểu về Teacher Forcing … Đọc tiếp

BERT, RoBERTa, DistilBERT, XLNet – Chọn cái nào?

BERT của Google và các phương pháp dựa trên transformer gần đây đã gây ra một cơn bão trong lĩnh vực NLP, đạt kết quả vượt trội trên một số nhiệm vụ. Gần đây, những cải tiến khác nhau của BERT đã xuất hiện. Hãy cùng trituenhantao.io tìm hiểu các điểm tương đồng và khác … Đọc tiếp

Sưu tầm: Học Trí tuệ nhân tạo (AI) tại Mỹ

Trí tuệ nhân tạo được mệnh danh là ngành học của tương lai bởi những triển vọng đáng mong đợi của nó. Đặc biệt trong kỷ nguyên số, máy tính đã phát triển thành siêu máy tính, công nghệ len lỏi vào từng ngành nghề… Thuật ngữ Trí tuệ nhân tạo lại càng được nhắc … Đọc tiếp