Tokenization và text classification

Token có thể là một từ, một phần của từ hoặc một dấu câu. Không phải lúc nào một token cũng trùng với một từ.

Ôn lạiBài 6.1Một khoảng trắng chưa chắc là một ranh giới từ

Mỗi token trong bộ từ vựng (vocabulary) có một số thứ tự. Mô hình làm việc với các số này chứ không đọc chữ trực tiếp.

Ôn lạiBài 6.1Subword: từ lạ được ghép từ những mảnh quenBài 3.8ID là địa chỉ, không phải độ lớn

Bước này gọi là tokenization. Bộ tách token (tokenizer) quyết định cách cắt. Hai tokenizer khác nhau có thể cắt cùng một câu theo hai cách khác nhau.

Ôn lạiBài 6.1Một khoảng trắng chưa chắc là một ranh giới từ