Self-supervised và CLIP

Một mạng có sẵn biến mỗi ảnh thành một vector đặc trưng. Ảnh trông giống nhau có vector gần nhau, dù chụp ở góc khác hay nền khác. So từng pixel thì chỉ cần dịch nhẹ là hỏng.

Ôn lạiBài 4.2Vì sao cần một biểu diễn khác?Bài 5.7Tìm ảnh bằng câu chữ

Nhãn ở đây lấy từ chính ảnh, nên không cần người gán. Mô hình học được đặc trưng tốt, sau đó chỉ cần ít ảnh có nhãn để tinh chỉnh cho việc cụ thể.

Ôn lạiBài 5.7Không có nhãn lớp vẫn có một nhiệm vụ để học

Mô hình phải học sao cho ảnh và câu cùng nghĩa nằm gần nhau, trong khi hai loại dữ liệu có cấu trúc rất khác. Cặp ảnh-chữ chất lượng cũng khó thu thập hơn văn bản thuần, và thường nhiễu.

Ôn lạiBài 5.7Contrastive loss làm cặp đúng thắng cặp khácBài 7.4Biểu diễn chung: cùng chiều chưa đủ để so cosine