Regularization cho mạng neural

Dropout buộc mạng không dựa quá nhiều vào vài nơ-ron, nhờ đó giảm quá khớp. Khi suy luận thì không tắt nơ-ron nào.

Ôn lạiBài 3.6Dropout: học khi vài đường bị bỏ

Validation xấu đi là dấu hiệu bắt đầu quá khớp. Dừng sớm (early stopping) ngừng học từ lúc đó. Không dùng test để quyết định, vì test để dành cho lần đánh giá cuối.

Ôn lạiBài 3.6Early stopping dùng validation để chọn thời điểm

Ở chế độ huấn luyện, dropout vẫn tắt ngẫu nhiên các nơ-ron và BatchNorm vẫn dùng thống kê của batch, nên dự đoán dao động. model.eval() tắt các hành vi này. Trọng số không đổi, vì ta không gọi bước cập nhật.

Ôn lạiBài 3.6Dropout: học khi vài đường bị bỏBài 3.6BatchNorm có trạng thái riêng