Đây là một ví dụ cơ bản về cách xây dựng một mô hình NLP cho Question-Answering sử dụng thư viện Transformers của Hugging Face, chẳng hạn như mô hình BERT:

from transformers import BertForQuestionAnswering, BertTokenizer
import torch

# Khởi tạo tokenizer và mô hình
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
model = BertForQuestionAnswering.from_pretrained('bert-base-uncased')

# Đầu vào
question = "What is artificial intelligence?"
text = "Artificial Intelligence (AI) is a subfield of computer science that focuses on creating software capable of intelligent behavior."

# Tiền xử lý đầu vào
inputs = tokenizer(question, text, return_tensors='pt')
input_ids = inputs["input_ids"].tolist()

# Predict
outputs = model(**inputs)
answer_start = torch.argmax(outputs.start_logits)  # lấy index của ký tự bắt đầu câu trả lời dự đoán
answer_end = torch.argmax(outputs.end_logits) + 1  # lấy index của ký tự kết thúc câu trả lời dự đoán

# Xem câu trả lời
answer = tokenizer.convert_tokens_to_string(tokenizer.convert_ids_to_tokens(input_ids[0][answer_start:answer_end]))
print(answer)

Đầu vào: Chuỗi câu hỏi và văn bản bao gồm câu trả lời cho câu hỏi đó. Đầu ra: Câu trả lời dự đoán từ mô hình cho câu hỏi đặt ra.

Đó là sự trừu tượng hóa sơ lược của tiến trình này. Đối với việc huấn luyện các mô hình như BERT từ đầu hoặc suy luận phức tạp hơn, bạn sẽ cần tìm hiểu sâu hơn và có thể muốn khám phá một số tài liệu học thuật về học sâu và xử lý ngôn ngữ tự nhiên.

Đừng quên ghé thăm trituenhantao.io để tìm hiểu thêm về AI và các chủ đề công nghệ khác!