Trong câu “Con mèo không nhảy lên bàn vì nó quá cao”, từ “nó” chỉ cái bàn; đổi “cao” thành “mệt” thì “nó” chỉ con mèo. Nghĩa của một từ phụ thuộc vào các từ khác trong câu, và từ nào quan trọng thì thay đổi theo từng câu. Mean pooling ở bài trước lấy trung bình đều mọi từ; attention cho mỗi từ tự chọn lấy thông tin từ những từ nào, với tỉ lệ bao nhiêu. Bài này tính attention bằng tay trên ví dụ nhỏ, rồi cài một khối encoder của Transformer.
Bài này dành cho tài khoản Pro
Mở khóa bằng tài khoản Pro