Không cần trung tâm dữ liệu để hiểu một mô hình ngôn ngữ hiện đại hoạt động như thế nào. Dự án mã nguồn mở này đưa những ý tưởng quan trọng của GLM-5.3-Flash vào một mô hình nhỏ, đủ để học từng thành phần và thử nghiệm trên máy cá nhân.

Huấn luyện một Large Language Model (LLM) quy mô hàng trăm tỷ tham số thường đòi hỏi phần cứng và nguồn dữ liệu rất lớn. Nhưng nếu mục tiêu là hiểu cơ chế hoạt động của LLM, chúng ta không nhất thiết phải bắt đầu ở quy mô đó.
Trong khóa học được freeCodeCamp giới thiệu ngày 14/11/2026, tác giả Vuk Rosić xây dựng từ đầu một mô hình Python khoảng 25,7 triệu tham số, lấy cảm hứng từ GLM-5.3-Flash. Dự án bao gồm huấn luyện trước (pre-training), xử lý hình ảnh và tối ưu hóa bằng reinforcement learning (học tăng cường). Mã nguồn, slide và báo cáo thí nghiệm được công khai trên GitHub.
Cần phân biệt: Đây là một bản mô phỏng phục vụ giáo dục, không phải phiên bản GLM-5.3-Flash chính thức được huấn luyện lại từ đầu. Một số thành phần giữ nguyên ý tưởng kiến trúc, nhưng cách cài đặt đã được đơn giản hóa đáng kể.
1. GLM-5.3-Flash có gì đáng học?
Thay vì chỉ dùng một cơ chế attention và một mạng feed-forward như Transformer cơ bản, dòng kiến trúc này kết hợp nhiều kỹ thuật để cân bằng khả năng xử lý ngữ cảnh, dung lượng tham số và chi phí tính toán. Bốn chủ đề nổi bật là Hybrid Attention, Mixture of Experts, Hyperconnections và Multimodality.
Để tránh nhầm lẫn giữa mô hình được phát hành và dự án thực hành, hãy nhìn vào bảng sau:
| Thành phần | GLM-5.3-Flash gốc | Dự án thực hành |
|---|---|---|
| Tham số tổng | Khoảng 320 tỷ | 25.730.592 |
| Tham số hoạt động/token | Khoảng 18 tỷ | Khoảng 9,8 triệu (ước tính của dự án) |
| Số lớp ngôn ngữ | 45 | 12 |
| Attention | Linear + Sparse, cơ chế đặc thù | 9 lớp linear + 3 lớp sparse giản lược |
| Mixture of Experts | 288 chuyên gia, chọn 8 | 8 chuyên gia, chọn 2; thêm 1 chuyên gia chung |
| Tokenizer | Byte-level BPE, 154.880 token | Byte-level, 260 token |
| Context window | Tối đa khoảng 1 triệu token | 192 token |
Bài học quan trọng: Số tham số lớn không phải điều kiện bắt buộc để nghiên cứu một ý tưởng kiến trúc. Mô hình nhỏ giúp quan sát rõ từng phép biến đổi, từng hàm loss và từng thay đổi sau huấn luyện, dù khả năng thực tế không thể so sánh với bản gốc.
2. Kiến trúc bên trong: Tokenizer, Attention và MoE

Tokenizer: Đưa văn bản về đơn vị nhỏ nhất
Tokenization là bước chuyển văn bản thành các chỉ số mà mô hình có thể xử lý. Trong dự án, tác giả chọn byte-level tokenizer gồm 256 giá trị byte và 4 token điều khiển, tổng cộng 260 token. Cách làm này đơn giản, không cần huấn luyện bảng từ vựng và biểu diễn được mọi chuỗi UTF-8.
Đổi lại, một chữ tiếng Việt có dấu có thể chiếm nhiều byte. Vì thế, 192 token không đồng nghĩa với 192 từ hoặc 192 ký tự. Với mô hình nhỏ, lựa chọn này thuận tiện cho mục đích học tập nhưng làm chuỗi đầu vào dài hơn so với tokenizer BPE.
Dự án còn dùng weight tying, tức là chia sẻ ma trận trọng số giữa lớp embedding và lớp dự đoán đầu ra. Đây là một cách giảm số tham số cần học.
Hybrid Attention: Kết hợp hai phương pháp xử lý ngữ cảnh
Linear Attention sử dụng biểu diễn trạng thái nén để tránh phải tạo đầy đủ ma trận attention giữa mọi cặp token. Nó phù hợp với nhu cầu xử lý chuỗi hiệu quả, nhưng việc nén thông tin cũng có thể làm khó khả năng truy xuất một chi tiết cụ thể ở xa.
Sparse Attention chỉ tính attention trên một tập vị trí được chọn thay vì toàn bộ chuỗi. Trong bản học tập, cứ ba lớp linear sẽ có một lớp sparse; kỹ thuật chọn vị trí được giản lược, không trùng với indexer hay cơ chế KDA trong mô hình sản xuất.
Mixture of Experts: Không phải token nào cũng đi qua mọi chuyên gia
Mixture of Experts (MoE) là kiến trúc gồm nhiều mạng con, thường gọi là experts. Bộ định tuyến (router) quyết định expert nào xử lý token. Dự án dùng 8 chuyên gia định tuyến, kích hoạt 2 chuyên gia cho mỗi token và có thêm một expert chung.
Cơ chế này giúp tăng dung lượng biểu diễn mà không nhất thiết kích hoạt toàn bộ tham số ở mỗi lần dự đoán. Tuy vậy, việc thiết kế router, cân bằng tải giữa các chuyên gia và tối ưu chạy trên phần cứng đều là những bài toán riêng.
Dự án cũng thử nghiệm bốn luồng residual có thể học. Đây chỉ là bản đơn giản hóa theo ý tưởng manifold-constrained hyperconnections (mHC), không phải hiện thực đầy đủ các ràng buộc toán học của mHC.
3. Mô hình ngôn ngữ có thể học xử lý ảnh như thế nào?
Một LLM chỉ nhìn thấy token văn bản nếu không có nhánh xử lý hình ảnh. Muốn tạo mô hình đa phương thức (multimodal model), chúng ta cần chuyển ảnh thành những vector có thể đưa vào mạng ngôn ngữ.

Trong nhánh thị giác của dự án, ảnh RGB kích thước 32 × 32 pixel được chia thành các patch 4 × 4, tạo 64 patch tokens. Hai khối Vision Transformer xử lý các biểu diễn này, sau đó bước spatial merge gộp chúng thành 16 visual tokens. Một lớp chiếu (projector) đưa đặc trưng ảnh về không gian biểu diễn của mô hình ngôn ngữ.
Tác giả kiểm tra nhánh này với ảnh chữ số tổng hợp. Thí nghiệm cho thấy hệ thống có thể học tác vụ nhỏ được thiết kế sẵn, nhưng chưa chứng minh khả năng hiểu ảnh tổng quát hay xử lý ảnh đời thực phức tạp.
4. Huấn luyện mô hình: Pre-training và Reinforcement Learning
Giai đoạn 1: Pre-training để học quy luật dữ liệu
Mô hình được khởi tạo từ trọng số ngẫu nhiên và học dự đoán byte tiếp theo. Với chuỗi đầu vào, hàm mất mát cross-entropy đo mức chênh giữa phân phối dự đoán và mục tiêu thực tế; quá trình tối ưu liên tục điều chỉnh trọng số để giảm lỗi này.
Tập dữ liệu của dự án gồm các mẫu tổng hợp phục vụ học cú pháp và thao tác lập trình nhỏ. Một điểm được nhấn mạnh là interleaving: xen kẽ nhiều nhóm dữ liệu khi huấn luyện để hạn chế catastrophic forgetting, tức là hiện tượng mô hình suy giảm kiến thức cũ khi học các mẫu mới theo từng đợt.
Giai đoạn 2: Dùng kết quả thực thi làm phần thưởng
Với bài toán sinh mã Python, chúng ta có thể thiết kế phần thưởng tương đối rõ ràng: chạy một đoạn mã với bộ kiểm thử, sau đó đánh giá có vượt qua các trường hợp kiểm thử hay không. Cách tiếp cận này gọi là executable reward, tức phần thưởng dựa trên kết quả chạy chương trình.
Trong phần hậu huấn luyện, dự án sử dụng phương pháp reinforcement learning với nhiều câu trả lời được lấy mẫu cho một yêu cầu. Tín hiệu thưởng được so sánh tương đối giữa các mẫu, theo cách cài đặt RLOO (REINFORCE Leave-One-Out). Các thử nghiệm cũng xem xét nhiệt độ lấy mẫu, số mẫu mỗi nhóm và phạm vi các lớp được cập nhật.
Việc chỉ cập nhật các lớp cuối giúp giới hạn số trọng số cần tối ưu. Nhưng đó cũng là lý do không nên kỳ vọng mô hình nhỏ đột nhiên sở hữu năng lực lập trình phổ quát.
Kết quả đáng chú ý, và điều số liệu chưa nói được

Trong tập xác nhận gồm 24 nhiệm vụ Python thuộc các nhóm đã được huấn luyện, chỉ số greedy pass@1 tăng từ 0/24 lên 16/24. Với tối đa 8 lần sinh cho mỗi nhiệm vụ, số bài có ít nhất một lời giải đạt yêu cầu tăng từ 9/24 lên 19/24.
Đây là minh chứng hữu ích cho việc tín hiệu thưởng dựa trên kiểm thử có thể cải thiện hành vi trong một phạm vi hẹp. Tuy nhiên, báo cáo cũng nêu sự suy giảm ở một số nhóm nhiệm vụ không được RL trực tiếp và việc kết quả thử nghiệm tham số có thể đảo chiều khi thay đổi seed. Do đó, không nên dùng các con số này để khẳng định mô hình viết được Python tốt trên mọi bài toán.
5. Tự chạy dự án bằng Python
Điểm hay của dự án là có mã nguồn để kiểm tra từng lớp, công cụ đánh giá và cả dữ liệu thí nghiệm. Có thể chạy trên CPU, NVIDIA CUDA hoặc Apple Silicon MPS. Python 3.12 là lựa chọn được README hướng dẫn vì bộ phiên bản thư viện đã ghim trong dự án.
Bước 1: Tải mã nguồn và tạo môi trường
git clone https://github.com/vukrosic/glm-5.3-flash-from-scratch.git
cd glm-5.3-flash-from-scratch
python3.12 -m venv .venv
source .venv/bin/activate
python -m pip install --upgrade pip
python -m pip install -r requirements.txt
python -m pytest -q
Trên Windows, lệnh kích hoạt môi trường ảo khác với macOS/Linux; có thể dùng .venv\Scripts\activate trong Command Prompt. Việc cài đặt PyTorch phụ thuộc hệ điều hành và cấu hình phần cứng.
Bước 2: Thử một vòng huấn luyện nhỏ trên CPU
Lệnh dưới đây giảm số lớp, số chiều biểu diễn, batch size và số bước huấn luyện để kiểm tra toàn bộ quy trình hoạt động. Nó chỉ là smoke test, không tạo ra mô hình có chất lượng sử dụng thực tế.
python scripts/train_pretrain.py \
--output runs/demo-cpu-001 \
--steps 2 --checkpoints 2 \
--batch-size 1 --sequence-length 128 \
--dim 96 --layers 4 --device cpu
Thư mục đầu ra phải chưa tồn tại khi bắt đầu; nếu đã chạy thử trước đó, hãy dùng tên thư mục khác. Để tái hiện các kết quả 25,7M tham số của tác giả, cần làm theo cấu hình và checkpoint cụ thể trong README, không dùng cấu hình rút gọn phía trên.
Bước 3: Thử nhánh xử lý ảnh
python scripts/train_vision.py \
--smoke-test --architecture faithful --device auto
Lệnh này kiểm tra đường đi ảnh trên kiến trúc thu nhỏ. Các bước RL, đánh giá tập xác nhận và cấu hình GPU được dự án mô tả chi tiết trong README cùng các script riêng.
6. Có nên bắt đầu bằng mô hình 25,7 triệu tham số?
Nếu mục tiêu là hiểu cách một LLM được xây dựng từ những thành phần cơ bản, đây là dự án đáng nghiên cứu. Bạn có thể đọc nguồn Python, thay đổi tokenizer, số chuyên gia hay tỉ lệ các lớp attention rồi quan sát tác động lên loss và kết quả đánh giá.
Nhưng nếu mục tiêu là tạo chatbot cạnh tranh với sản phẩm thương mại hoặc triển khai AI ở quy mô doanh nghiệp, mô hình giáo dục này không phải lối tắt. Chất lượng ứng dụng phụ thuộc mạnh vào dữ liệu, phân phối bài toán, năng lực phần cứng và quá trình kiểm thử độc lập.
Một dự án như thế này không nhằm chứng minh rằng ai cũng có thể tự tạo phiên bản GLM hàng trăm tỷ tham số trên laptop. Giá trị thật của nó là biến những khái niệm vốn có vẻ xa vời thành mã Python có thể đọc, thử nghiệm và đo lường.
Tài liệu tham khảo
- freeCodeCamp, Build and Train a GLM-5.3-Flash Model From Scratch with Python, đăng ngày 14/11/2026.
- Vuk Rosić, GLM-5.3-Flash From Scratch, mã nguồn, README, báo cáo và thí nghiệm.
- freeCodeCamp, Video khóa học Build & Train GLM-5.3-Flash From Scratch (khoảng 44 phút).