Embedding và dữ liệu chuỗi

Mỗi token trong bộ từ vựng (vocabulary) có một số thứ tự. Mô hình làm việc với các số này chứ không đọc chữ trực tiếp.

Ôn lạiBài 6.1Subword: từ lạ được ghép từ những mảnh quenBài 3.8ID là địa chỉ, không phải độ lớn

Embedding là vector biểu diễn một token. Ví dụ “vua” và “hoàng hậu” thường có embedding gần nhau hơn “vua” và “cái bàn”.

Ôn lạiBài 3.8ID là địa chỉ, không phải độ lớn

Vì vậy mô hình ngôn ngữ cần biết vị trí của từng token, chứ không chỉ đếm từ như túi từ.

Ôn lạiBài 3.8Mean pooling mất thứ tựBài 3.9Thứ tự cần thông tin vị trí