Bài toán Image Captioning liên quan đến xử lý hình ảnh và ngôn ngữ tự nhiên. Mục đích là để tạo ra một mô tả ngắn gọn, mang tính chất tổng hợp về nội dung trong hình ảnh.

• Input: là một hình ảnh. Định dạng phổ biến nhất là RGB, nghĩa là mỗi pixel được biểu diễn bởi ba giá trị số, tương ứng với độ đỏ, độ xanh lá, và độ xanh dương. Kích thước của hình ảnh thường là chiều cao x chiều rộng x 3 (3 là số kênh màu: R,G,B).

• Output: là mô tả văn bản (caption) của hình ảnh đó. Mô tả này thường là một câu hoặc một đoạn văn bản ngắn, được biểu diễn dưới dạng chuỗi các từ.

Khi inference, hình ảnh sẽ đi qua một mô hình (thường là một mạng CNN) để trích xuất đặc trưng. Đặc trưng này sau đó được sử dụng như một input để tiếp tục tạo ra mô tả văn bản thông qua một mô hình ngôn ngữ (thường là LSTM hoặc Transformer).

Mình đang ẩn chứa nhiều kiến thức như thế, hay truy cập trituenhantao.io để khám phá nhiều hơn nữa. Cánh cửa tri thức luôn mở rộng đón bạn!