BPE – Byte Pair Encoding – Vũ khí bí mật của NLP hiện đại

BPE – Byte Pair Encoding – Vũ khí bí mật của NLP hiện đại

Byte Pair Encoding là một thuật toán nén dữ liệu được giới thiệu lần đầu tiên vào năm 1994, giúp tăng hiệu quả của tất cả các mô hình NLP tiên tiến hiện nay (bao gồm cả BERT). Mặc dù vậy, thuật toán này không phải ai cũng biết. Trong bài viết này, hãy cùng … Đọc tiếp

ResNet – Mạng học sâu đúng nghĩa

ResNet – Mạng học sâu đúng nghĩa

ResNet (viết tắt của residual network), là mạng học sâu nhận được quan tâm từ những năm 2012 sau cuộc thi LSVRC2012 và trở nên phổ biến trong lĩnh vực thị giác máy. ResNet khiến cho việc huấn luyện hàng trăm thậm chí hàng nghìn lớp của mạng nơ ron trở nên khả thi và … Đọc tiếp

XLNet – Người khổng lồ thay thế vị trí của BERT

XLNet – Người khổng lồ thay thế vị trí của BERT

Năm 2018, Google giới thiệu BERT, mô hình học sâu pre-trained lập kỷ lục với 11 kết quả state-of-the-art với các nhiệm vụ của Xử lý ngôn ngữ tự nhiên. Nó nhanh chóng nhận được sự quan tâm lớn của các nhà khoa học và công nghiệp trên toàn thế giới. Các công trình nghiên … Đọc tiếp