Canuc80k AI

Transformer là gì?

Transformer là kiến trúc dùng các khối attention và mạng truyền thẳng để xử lý dãy. Thông tin vị trí giúp mô hình phân biệt thứ tự của các token.

Điểm chính

Encoder thường tạo biểu diễn từ ngữ cảnh hai chiều. Decoder tự hồi quy dự đoán token tiếp theo khi chỉ thấy phần trước. Kiến trúc encoder-decoder còn cho decoder đọc biểu diễn của đầu vào.

Chỗ dễ nhầm

Transformer là tên kiến trúc. Một mô hình dùng Transformer không vì thế mà nhất thiết là chatbot, mô hình ngôn ngữ hay mô hình chỉ có decoder.