Chương 7·Bài 7.4Pro
Multimodal
Chọn câu
Light
Câu 1
Mô hình như GPT-4V làm được gì mà mô hình chỉ có văn bản không làm được?
Mô hình đa phương thức nhận cả ảnh lẫn chữ, nên trả lời được câu hỏi về nội dung một bức ảnh hay một biểu đồ.
Ôn lạiBài 7.4Một mẫu có nhiều modality, nhưng chỉ một IDBài 7.4VLM: hỏi đáp ảnh cần cả ảnh và câu hỏi
Câu 2
Mô hình đa phương thức (multimodal) là mô hình như thế nào?
Ví dụ mô hình nhận ảnh rồi trả lời câu hỏi bằng chữ, hay nhận chữ rồi tạo ảnh. Nó phải biểu diễn các loại dữ liệu khác nhau sao cho liên kết được với nhau.
Medium
Câu 3
Trong mô hình đa phương thức, cross-attention dùng để làm gì?
Trong cross-attention, query lấy từ một nguồn, còn key và value lấy từ nguồn kia. Nhờ vậy khi sinh mỗi từ mô tả, mô hình nhìn được vùng ảnh liên quan. Self-attention thì chỉ nhìn trong cùng một chuỗi.
Ôn lạiBài 6.5Cross-attention: decoder đọc lại nguồnBài 7.4VLM: hỏi đáp ảnh cần cả ảnh và câu hỏi
Còn 4 câu dành cho tài khoản Pro
Mở khóa bằng tài khoản Pro