Giới thiệu về k-fold cross-validation

Cross validation là một phương pháp thống kê được sử dụng để ước lượng hiệu quả của các mô hình học máy. Nó thường được sử dụng để so sánh và chọn ra mô hình tốt nhất cho một bài toán. Kỹ thuật này dễ hiểu, dễ thực hiện và cho ra các ước lượng tin cậy hơn so với các phương pháp khác. Trong bài viết này hãy cùng trituenhantao.io tìm hiểu về kỹ thuật cross validation với k-fold.

k-Fold Cross-Validation là gì?

Cross validation là một kỹ thuật lấy mẫu để đánh giá mô hình học máy trong trường hợp dữ liệu không được dồi dào cho lắm.

Tham số quan trọng trong kỹ thuật này là k, đại diện cho số nhóm mà dữ liệu sẽ được chia ra. Vì lý do đó, nó được mang tên k-fold cross-validation Cross-validation
Có thể dịch là xác thực chéo hoặc kiểm chứng chéo, là phương pháp chia nhỏ dataset để kiểm chứng hiệu quả của mô hình trên từng phần riêng biệt.
. Khi giá trị của k được lựa chọn, người ta sử dụng trực tiếp giá trị đó trong tên của phương pháp đánh giá. Ví dụ với k=10, phương pháp sẽ mang tên 10-fold cross-validation Cross-validation
Có thể dịch là xác thực chéo hoặc kiểm chứng chéo, là phương pháp chia nhỏ dataset để kiểm chứng hiệu quả của mô hình trên từng phần riêng biệt.
.

Kỹ thuật này thường bao gồm các bước như sau:

1. Xáo trộn dataset Dataset
   Bộ dữ liệu - Một tập các thông tin về các thực thể (thường có cùng kiểu, có liên quan đến nhau) là đối tượng của một bài toán hoặc nhiệm vụ học máy.
   một cách ngẫu nhiên
2. Chia dataset Dataset
   Bộ dữ liệu - Một tập các thông tin về các thực thể (thường có cùng kiểu, có liên quan đến nhau) là đối tượng của một bài toán hoặc nhiệm vụ học máy.
   thành k nhóm
3. Với mỗi nhóm:
   1. Sử dụng nhóm hiện tại để đánh giá hiệu quả mô hình
   2. Các nhóm còn lại được sử dụng để huấn luyện mô hình
   3. Huấn luyện mô hình
   4. Đánh giá và sau đó hủy mô hình
4. Tổng hợp hiệu quả của mô hình dựa từ các số liệu đánh giá

Một lưu ý quan trọng là mỗi mẫu chỉ được gán cho duy nhất một nhóm và phải ở nguyên trong nhóm đó cho đến hết quá trình. Các tiền xử lý dữ liệu như xây dựng vocabulary Vocabulary
Có thể dịch là bộ ngữ liệu. Trong NLP, các đoạn văn bản thường được biểu diễn bởi các thành phần nhỏ hơn như từ, ký tự hoặc các biểu diễn trung gian. Vocabulary chứa toàn bộ các thành phần như vậy mà một mô hình ánh xạ trong bộ nhớ của nó. Vocabulary của mô hình càng bao phủ tốt thì khả năng nắm bắt ngữ cảnh của mô hình càng chính xác.
chỉ được thực hiện trên tập huấn luyện đã được chia chứ không được thực hiện trên toàn bộ dataset Dataset
Bộ dữ liệu - Một tập các thông tin về các thực thể (thường có cùng kiểu, có liên quan đến nhau) là đối tượng của một bài toán hoặc nhiệm vụ học máy.
. Việc hủy mô hình sau mỗi lần đánh giá là bắt buộc, tránh trường hợp mô hình ghi nhớ nhãn của tập test trong lần đánh giá trước. Các lỗi thiết lập này dễ xảy ra và đều dẫn đến kết quả đánh giá không chính xác (thường là tích cực hơn so với thực tế).

Kết quả tổng hợp thường là trung bình của các lần đánh giá. Ngoài ra việc bổ sung thông tin về phương sai và độ lệch chuẩn vào kết quả tổng hợp cũng được sử dụng trong thực tế.

Cấu hình k

Giá trị k là thông số quan trọng để có thể đánh giá chính xác mô hình, vậy thì lựa chọn thông số này như thế nào?

Ba chiến thuật phổ biến để lựa chọn k:

• Đại diện: Giá trị của k được chọn để mỗi tập train/test đủ lớn, có thể đại diện về mặt thống kê cho dataset Dataset
  Bộ dữ liệu - Một tập các thông tin về các thực thể (thường có cùng kiểu, có liên quan đến nhau) là đối tượng của một bài toán hoặc nhiệm vụ học máy.
  chứa nó.
• k=10: Giá trị của k được gán cố định bằng 10, một giá trị thường được sử dụng và được chứng minh là cho sai số nhỏ, phương sai thấp (thông qua thực nghiệm).
• k=n: Giá trị của k được gán cố định bằng n , với n là kích thước của dataset Dataset
  Bộ dữ liệu - Một tập các thông tin về các thực thể (thường có cùng kiểu, có liên quan đến nhau) là đối tượng của một bài toán hoặc nhiệm vụ học máy.
  , như vậy mỗi mãu sẽ được sử dụng để đánh giá mô hình một lần. Cách tiếp cận này còn có tên leave-one-out cross-validation leave-one-out cross-validation
  Trường hợp đặc biệt của xác thực chéo (cross-validation) trong đó mỗi mẫu được sử dụng để đánh giá mô hình một lần.
  .

Giá trị k=10 là một cấu hình rất phổ biến. Bạn nên sử dụng giá trị này nếu như gặp khó khăn để lựa chọn một giá trị thích hợp cho bài toán của bạn. Ngoài ra, bạn cũng nên chọn giá trị của k sao cho có thể chia đều các mẫu vào các nhóm. Thư viện scikit-learn cung cấp các cài đặt đầy đủ của cross-validation Cross-validation
Có thể dịch là xác thực chéo hoặc kiểm chứng chéo, là phương pháp chia nhỏ dataset để kiểm chứng hiệu quả của mô hình trên từng phần riêng biệt.
. Bạn có thể tham khảo tại Model Selection API.

Nếu bạn thấy bài viết hữu ích, đừng ngại chia sẻ với những người quan tâm. Hãy thường xuyên truy cập trituenhantao.io hoặc đăng ký (dưới chân trang) để nhận được những bài viết tương tự sớm nhất!