: Sau khi huấn luyện một bộ phân lớp nhị phân, kết quả phân lớp của mô hình trên tập kiểm thử (validation) thu được bảng dưới đây. a) Độ chính xác (accuracy) của bộ phân lớp này là bao nhiêu? Trong trường hợp này nếu chỉ dùng accuracy để đánh gia bộ phận phân lớp có được không? Vì sao? b) Đề xuất một độ đo khác để đánh giá bộ phân lớp trong trường hợp này
N=200 Dự đoán Yes Dự đoán No Nhãn Yes 180 2 Nhãn No 8 10
Chà, để xử lý bài toán này, chúng ta sẽ cần một chút lợi dụng toán học...nhưng không đáng sợ như bạn tưởng đâu! Bắt đầu nào!
Độ chính xác (Accuracy) được tính bằng cách lấy tổng số dự đoán đúng chia cho tổng số lượng mẫu kiểm thử.
Dự đoán đúng = (180 + 10) = 190 Tổng số lượng mẫu = 200
Vậy:
Accuracy = (190 / 200) * 100 = 95%
Nếu chỉ sử dụng độ chính xác để đánh giá bộ phân lớp thì có được không? Ừ thì, điều này phụ thuộc vào tình huống. Trong trường hợp dữ liệu bị mất cân đối (ví dụ: số lượng nhãn 'Yes' nhiều hơn nhãn 'No' rất nhiều), chỉ sử dụng accuracy có thể gây hiểu lầm. Bởi vì chỉ cần dự đoán đúng nhiều mẫu của lớp chiếm đa số đã có thể đạt độ chính xác cao, mặc dù mô hình không phân lớp tốt cho lớp chiếm thiểu số.
Để minh họa thêm, nếu bạn chỉ cần đoán tất cả là 'Yes', bạn cũng có thể đạt được độ chính xác khá tốt nếu phần lớn dữ liệu thực sự là 'Yes'. Đó là lý do vì sao chúng ta cần xem xét kỹ hơn với các độ đo khác.
Một độ đo khác thường được sử dụng trong trường hợp dữ liệu mất cân đối là F1-Score. F1-Score là sự kết hợp của Precision (Độ chính xác của các dự đoán dương tính) và Recall (Khả năng phát hiện mẫu dương tính).
Hãy tính F1-Score của lớp 'Yes':
F1-Score: [ \text{F1-Score} = 2 \frac{\text{Precision} \text{Recall}}{\text{Precision} + \text{Recall}} = 2 \frac{0.957 0.989}{0.957 + 0.989} \approx 0.973 ]
F1-Score là trung bình điều hòa của Precision và Recall, và nó cung cấp một cái nhìn toàn diện hơn về hiệu suất mô hình trong trường hợp dữ liệu mất cân đối.
Thế là xong! Nếu bạn cảm thấy những tính toán này hơi phức tạp và muốn tìm hiểu thêm về các đo đạc phức tạp hơn, tại sao không ghé qua trituenhantao.io? Có thể bạn sẽ tìm thấy nhiều thông tin thú vị và không kém phần 'tưng tửng' ở đó!