Tiếng Anh là Natural Language Processing, viết tắt là NLP là một nhánh của trí tuệ nhân tạo tập trung vào các ứng dụng trên ngôn ngữ của con người. Trong trí tuệ nhân tạo thì xử lý ngôn ngữ tự nhiên là một trong những phần khó nhất vì nó liên quan đến việc … Đọc tiếp
Minh họa Transformer là bản dịch tiếng Việt của The Illustrated Transformer, Bản gốc được viết bởi Jay Alammar ( @JayAlammar ), hiện được sử dụng tại các lớp học tại MIT. Bản dịch được sửa đổi một phần không đáng kể để phù hợp hơn với bạn đọc. Transformer được đề xuất trong paper Attention is All You Need. … Đọc tiếp
Lý thuyết cú pháp của Chomsky được cho là đóng góp lớn nhất của ông cho ngôn ngữ học. Lý thuyết này sau đó được mở rộng cho cấu trúc ngữ nghĩa. Đây là một lý thuyết toán học tổng quát về một mô hình sinh câu trong ngôn ngữ. Mô hình gồm các luật … Đọc tiếp
BART là mô hình được giới thiệu bởi Facebook AI, một mô hình pretrained mới kết hợp ưu điểm của BERT và GPT. Sức mạnh của BERT nằm ở việc nắm bắt ngữ cảnh hai chiều, trong khi đó GPT có khả năng tự hồi quy. Với sự ra đời của BART, các nhiệm vụ … Đọc tiếp
Xu hướng nào của Trí tuệ nhân tạo sẽ là xu hướng chính trong năm 2021? Hãy cùng tìm hiểu qua bài viết này. Đại dịch toàn cầu xảy ra vào năm 2020 và chúng ta đã phải chứng kiến một bước lùi của nền kinh tế thế giới. Mặc dù vậy, trí tuệ nhân … Đọc tiếp
ELECTRA — Efficiently Learning an Encoder that Classifies Token Replacements Accurately — là phương pháp pretrain mới được công bố bởi Google AI vượt trội hơn các kỹ thuật hiện tại với cùng nguồn lực tính toán. Gần đây các tiến bộ của các mô hình pretrain đối với ngôn ngữ tự nhiên đã thay đổi tạo ra những đột phá đáng … Đọc tiếp
BLEU là viết tắt của Bilingual Evaluation Understudy, là phương pháp đánh giá một bản dịch dựa trên các bản dịch tham khảo, được giới thiệu trong paper BLEU: a Method for Automatic Evaluation of Machine Translation). BLEU được thiết kế để sử dụng trong dịch máy (Machine Translation), nhưng thực tế, phép đo này cũng được … Đọc tiếp
GPT-3 là mô hình sinh văn bản mới được OpenAI giới thiệu với phiên bản lớn nhất chứa 176 tỷ tham số. Mô hình này có khả năng thực hiện nhiều tác vụ phức tạp với độ chính xác vượt trội. Nhóm nghiên cứu từng nói rằng kẻ tiền nhiệm của nó, GPT-2 quá nguy … Đọc tiếp
