Huấn luyện trên GPU

Huấn luyện chủ yếu là nhân và cộng các ma trận rất lớn. GPU có hàng nghìn lõi nhỏ chạy song song, nên làm việc này nhanh hơn CPU nhiều lần.

Ôn lạiBài 3.7Đo trên máy có GPUBài 3.1Thiết bị và nơi lưu dữ liệu

Một mạng đúng phải học thuộc được vài mẫu. Nếu loss không giảm thì có lỗi ở nhãn, hàm loss hay tốc độ học, nên sửa trước khi tốn nhiều giờ huấn luyện.

Ôn lạiBài 3.7Chưa cần GPU để kiểm mạng biết học

Mỗi bước cập nhật dùng gradient của 4 × 8 = 32 ảnh, trong khi bộ nhớ chỉ cần chứa 8 ảnh một lúc. Cái giá là chậm hơn, vì phải chạy 4 lần mới cập nhật một lần.

Ôn lạiBài 3.7Hết bộ nhớ: microbatch và gradient accumulation