Chương 3·Bài 3.9Pro
Attention và Transformer
Chọn câu
Light
Câu 1
“Chó đuổi mèo” và “mèo đuổi chó” có cùng các từ. Điều này cho thấy gì?
Vì vậy mô hình ngôn ngữ cần biết vị trí của từng token, chứ không chỉ đếm từ như túi từ.
Ôn lạiBài 3.8Mean pooling mất thứ tựBài 3.9Thứ tự cần thông tin vị trí
Câu 2
Khi xử lý một từ, mô hình tìm xem những từ nào khác trong câu liên quan nhiều nhất để lấy thông tin. Cơ chế này gọi là gì?
Attention (cơ chế chú ý) giúp mô hình lấy thông tin từ những từ liên quan. Trong câu “Con mèo không ăn vì nó no”, attention giúp mô hình nối “nó” với “con mèo”.
Ôn lạiBài 3.9Từ trung bình cố định tới trung bình theo câu hỏiBài 3.9Self-attention học cách tạo câu hỏi
Câu 3
Kiến trúc nào lấy attention làm thành phần chính và là nền của hầu hết mô hình ngôn ngữ hiện nay?
Transformer xử lý mọi token cùng lúc và dùng attention để nối chúng với nhau, thay vì đọc lần lượt như RNN.
Còn 33 câu dành cho tài khoản Pro
Mở khóa bằng tài khoản Pro