Canuc80k AI

Self-attention, Query, Key và Value

Self-attention tạo biểu diễn cho mỗi token bằng cách trộn thông tin từ các token trong cùng dãy. Query và key tính trọng số; value chứa thông tin được trộn.

Điểm chính

Mỗi query so với các key được phép nhìn, chuẩn hóa điểm bằng softmax rồi lấy tổng các value theo trọng số. Chú ý nhân quả che các vị trí ở tương lai.

Chỗ dễ nhầm

Với L token, self-attention dày đặc xét cỡ L² cặp vị trí. Trọng số chú ý cao cho biết mô hình trộn value mạnh ở bước đó, chưa đủ để kết luận nguyên nhân của toàn bộ dự đoán.