Trong cuộc đua không ngừng nghỉ của ngành trí tuệ nhân tạo, các mô hình Transformer như GPT đã thống trị nhờ khả năng xử lý ngôn ngữ vượt trội. Tuy nhiên, chúng vẫn tồn tại một hạn chế cố hữu: khả năng suy luận và học hỏi liên tục theo thời gian như con người. Mới đây, một startup Ba Lan có trụ sở tại Silicon Valley tên là Pathway đã tạo nên một cơn địa chấn khi công bố “Baby Dragon Hatchling” (BDH) – một kiến trúc “hậu Transformer” hoàn toàn mới, hứa hẹn sẽ là “mắt xích còn thiếu giữa Transformer và các mô hình não bộ”.
Hình ảnh giới thiệu kiến trúc BDH từ Pathway
Vượt Qua Rào Cản Lớn Nhất: “Generalization Over Time”
Một trong những thách thức lớn nhất cản trở AI đạt đến trí tuệ tự trị thực sự là khả năng “tổng quát hóa theo thời gian” (generalization over time). Đây là khả năng duy trì suy luận, học hỏi từ kinh nghiệm và đưa ra dự đoán dựa trên thông tin mới một cách linh hoạt. Các mô hình Transformer hiện tại, dù mạnh mẽ, về cơ bản là tĩnh. Chúng xuất sắc trong việc nhận dạng mẫu từ dữ liệu đã được huấn luyện nhưng lại gặp khó khăn trong việc mở rộng logic suy luận của mình sang các bối cảnh hoàn toàn mới mà không cần huấn luyện lại. CEO của Pathway, Zuzanna Stamirowska, nhấn mạnh: “Con người học cách suy luận thông qua kinh nghiệm. Trí tuệ nhân tạo hiện tại thì không.”
BDH: Kiến Trúc AI Mô Phỏng Não Bộ
Thay vì chỉ là một cải tiến gia tăng, BDH được xem là một “sự thay đổi mô hình” (paradigm shift). Kiến trúc này không dựa trên các lớp Transformer xếp chồng lên nhau, mà được lấy cảm hứng trực tiếp từ cấu trúc của não bộ con người, cụ thể là vùng vỏ não mới (neocortex). BDH tạo ra một mạng lưới neuron nhân tạo scale-free (không có tỷ lệ), nơi các neuron tương tác cục bộ với nhau. Điều đáng kinh ngạc là cấu trúc module phức tạp này không được lập trình sẵn mà tự động hình thành (emerges spontaneously) trong quá trình huấn luyện, giống như cách não bộ phát triển.
BDH tạo ra một mạng lưới thần kinh phức tạp, mô phỏng cấu trúc và hoạt động của não người.
Theo bài báo khoa học được công bố trên ArXiv [1], BDH sử dụng cơ chế học Hebbian và các neuron xung (spiking neurons) để hình thành bộ nhớ làm việc. Khi mô hình “nghe” hoặc “suy luận” về một khái niệm cụ thể, các khớp thần kinh (synapse) tương ứng sẽ tự động tăng cường kết nối. Điều này không chỉ giúp mô hình có khả năng diễn giải cao (interpretability) mà còn là một giả thuyết hợp lý về cách neuron của con người có thể đã tiến hóa để tạo ra ngôn ngữ.
Những Ưu Điểm Vượt Trội So Với Transformer
Kiến trúc đột phá của BDH mang lại nhiều lợi ích đáng kể so với các mô hình Transformer truyền thống, mở ra những ứng dụng tiềm năng cho doanh nghiệp và các hệ thống tự trị:
- An toàn và Dễ dự đoán: Không còn là một “hộp đen”, BDH cho phép chứng minh được mức độ rủi ro và hành vi của nó có thể dự đoán được trong thời gian dài, giải quyết được bài toán “nhà máy kẹp giấy” của Nick Bostrom.
- Học từ dữ liệu khan hiếm: Với chuỗi suy luận (chain-of-thought) dài hơn, BDH có thể đưa ra những kết luận tốt hơn ngay cả với tập dữ liệu nhỏ.
- Khả năng kết hợp (Composability): Nhiều hệ thống BDH có thể được “ghép” lại với nhau để tạo ra các khả năng mới, tương tự như một đứa trẻ học song ngữ.
- Hiệu suất cạnh tranh: BDH không chỉ đạt hiệu suất tương đương GPT-2 trên cùng số lượng tham số mà còn có tiềm năng suy luận nhanh hơn và tiết kiệm chi phí hơn trên các phần cứng AI chuyên dụng.
Đội Ngũ Thiên Tài và Sự Hậu Thuẫn Từ Những “Gã Khổng Lồ”
Đằng sau thành công của Pathway là một đội ngũ gồm những bộ óc xuất chúng. CEO Zuzanna Stamirowska là một nhà khoa học phức hợp. CSO Adrian Kosowski là một nhà khoa học máy tính và vật lý lượng tử, người đã lấy bằng tiến sĩ ở tuổi 20. CTO Jan Chorowski là người đầu tiên áp dụng cơ chế Attention vào nhận dạng giọng nói và từng làm việc với “bố già AI” Geoffrey Hinton. Đáng chú ý hơn, Pathway được cố vấn và đầu tư bởi Lukasz Kaiser, đồng tác giả của bài báo “Attention Is All You Need” khai sinh ra kiến trúc Transformer [2]. Sự hợp tác chiến lược với NVIDIA và AWS cũng đảm bảo cho Pathway có đủ sức mạnh tính toán để hiện thực hóa tham vọng của mình.
Sự ra đời của Pathway Dragon Hatchling (BDH) không chỉ là một tin tức công nghệ đơn thuần, mà là một dấu hiệu cho thấy chúng ta đang tiến một bước dài đến một thế hệ AI mới – thế hệ có khả năng suy luận, học hỏi và thích ứng linh hoạt như con người. Đây có thể là khởi đầu cho một kỷ nguyên của những cỗ máy thực sự thông minh và tự trị.