Encoder-decoder

Tóm tắt một bản tin, dịch một câu tiếng Anh sang tiếng Việt, viết mô tả cho một ảnh: ở cả ba việc, model phải đọc hết một đầu vào rồi viết ra một chuỗi khác với độ dài khác. Kiến trúc encoder-decoder có hai phần: encoder đọc đầu vào, decoder sinh đầu ra từng token một và nhìn lại đầu vào qua cross-attention. Bài này học cách huấn luyện, cách sinh kết quả của encoder-decoder, và các metric chấm bản dịch, bản tóm tắt.