Mô hình chuyển đổi văn bản thành hình ảnh (text-to-image) là một phương pháp trong trí tuệ nhân tạo và thị giác máy tính cho phép mô tả hình ảnh dựa trên văn bản mô tả. Một số thuật toán chính được sử dụng trong quá trình này bao gồm các mạng nơ-ron tích chập (CNN) để tìm hiểu đặc trưng hình ảnh và mạng nơ-ron hồi tiếp (RNN) hoặc Mô hình Kiến thức Chung (GPT) để xử lý văn bản. Dưới đây là quá trình hoạt động của một mô hình text-to-image với các ví dụ minh họa.

1. Tiền xử lý văn bản: Đầu tiên, văn bản mô tả được tiền xử lý, bao gồm loại bỏ ký tự đặc biệt, chuyển đổi sang chữ thường và mã hóa văn bản. Ví dụ, nếu văn bản mô tả là "Chú chó đáng yêu đang chơi bóng", sau khi tiền xử lý, văn bản trở thành một chuỗi các từ điển như "chú_chó_đáng_yêu đang chơi bóng".

2. Hiểu văn bản: Tiếp theo, mô hình sẽ hiểu văn bản bằng cách sử dụng các mạng nơ-ron hồi tiếp (RNN) hoặc GPT để biểu diễn văn bản theo một dạng hiểu được bởi mạng nơ-ron. Kết quả là một vectơ đặc trưng của từng từ trong câu.

3. Mạng nơ-ron tổng hợp hình ảnh: Mô hình tổng hợp hình ảnh được đào tạo thông qua một mạng nơ-ron tích chập (CNN) hoặc mạng nơ-ron sinh dựng (GAN) để chuyển đổi vectơ đặc trưng của văn bản thành hình ảnh đầu ra. Thực tế, CNN và GAN được kết hợp để tạo các hình ảnh có độ phân giải cao và chất lượng tốt hơn.

4. Tinh chỉnh hình ảnh đầu ra: Kết thúc quá trình chuyển đổi, mô hình sẽ tinh chỉnh hình ảnh đầu ra để phù hợp hơn với mô tả văn bản bằng cách áp dụng một số kỹ thuật hậu xử lý, như sử dụng mô hình đánh giá để đánh giá chất lượng hình ảnh và lựa chọn hình ảnh tốt nhất.

Ví dụ: Nếu mô hình chuyển đổi văn bản thành hình ảnh được cung cấp với mô tả "một chiếc bánh sinh nhật với nến đỏ", mô hình sẽ xử lý và hiểu văn bản thông qua các bước trên, sau đó tạo ra một hình ảnh của chiếc bánh sinh nhật đã được mô tả. Quá trình này có thể sử dụng các bộ dữ liệu hình ảnh khác nhau để đào tạo mô hình, giúp nó học cách tổng hợp hình ảnh dựa trên văn bản mô tả.