GPT-3 là mô hình sinh văn bản mới được OpenAI giới thiệu với phiên bản lớn nhất chứa 176 tỷ tham số. Mô hình này có khả năng thực hiện nhiều tác vụ phức tạp với độ chính xác vượt trội.
Nhóm nghiên cứu từng nói rằng kẻ tiền nhiệm của nó, GPT-2 quá nguy hiểm để công bố phiên bản đầy đủ vì những nguy cơ về tin giả tràn lan. Nhưng so với GPT-3 dựa trên lượng tham số, phiên bản lớn nhất của GPT-2 chỉ chưa được một phần mười.
GPT-3 có thể thực hiện một loạt các tác vụ của NLP mà không cần được finetune trên bất kỳ một tác vụ cụ thể nào. Nó có thể dịch văn bản, trả lời câu hỏi, đọc hiểu, làm thơ và thậm chí là làm các phép tính.
| Input | Output |
| What is 48 plus 76? | 124 |
| What is 34 minus 53 | -19 |
| What is 24 times 42 | 1008 |
| What is 6+(4*8)? | 38 |
Mô hình này cũng có khả năng chữa lỗi sai tiếng Anh
| Input | Output |
| Poor English input: Janet broke Bill on the finger. | Good English output: Janet broke Bill’s finger. |
| Poor English input: Mary arranged for, in St. Louis, John to rent a house cheap. | Good English output: Mary arranged for John to rent a house in St. Louis. |
| Poor English input: Today I have went to the store to to buys some many bottle of water. | Good English output: Today I went to the store to buy some bottles of water. |
Mô hình này có khả năng viết lách xuất sắc hơn người tiền nhiệm. Các tác giả kiểm tra kỹ năng của nó bằng cách yêu cầu những người đánh giá phân biêt thành quả của mô hình so với sản phẩm của con người. Văn bản được đánh giá tốt nhất là bài viết mang tên United Methodists Agree to Historic Split.
Khả năng tường thuật của GPT-3 khiến các nhà khoa học cảnh bảo nguy cơ lạm dụng GPT-3 để tạo ra các tin tổng hợp khó có thể phân biệt với văn bản của con người. May mắn thay, những kẻ quậy phá không dễ lạm dụng GPT-3 vì nó quá đắt đỏ. Chi phí để huấn luyện mô hình này trên các nền tảng GPU/TPU cloud rơi vào khoảng 12 triệu đôla gấp 200 lần GPT-2.
Mặc dù được đánh giá cao hơn người tiền nhiệm, GPT-3 vẫn mang trong mình những điểm yếu giống với các mô hình ngôn ngữ khác, như sự trùng lặp, thiếu thống nhất trong các đoạn văn dài và thậm chí là mâu thuẫn. Nhưng dù sao, đây vẫn là mô hình ngôn ngữ đồ sộ nhất trong lịch sử loài người tính đến bây giờ. Số lượng văn bản mà mô hình này được huấn luyện nhiều hơn lượng mà con người đoc trong cả đời mình. Bạn có thể đọc thêm bài báo gốc để hiểu hơn về GPT-3.
Nếu bạn thích bài viết này, đừng ngại chia sẻ với những người quan tâm. Hãy thường xuyên truy cập trituenhantao.io hoặc đăng ký (dưới chân trang) để có được các thông tin mới nhất về lĩnh vực. Ngoài ra nếu như bạn muốn thảo luận, đặt câu hỏi, hãy tham gia Cộng đồng Trí tuệ nhân tạo.