Regularization

Bias cao là mô hình đoán lệch một cách có hệ thống vì quá cứng nhắc, tức chưa khớp. Variance cao là mô hình đổi kết quả nhiều khi dữ liệu học thay đổi một chút, tức dễ quá khớp. Ta tìm độ phức tạp ở giữa.

Ôn lạiBài 1.2Underfit và overfit là chẩn đoán có điều kiệnBài 2.2Ridge

Mô hình nhiều tham số đủ sức học thuộc từng ví dụ khi dữ liệu ít. Dropout, dừng sớm và regularization đều là cách chống quá khớp. Huấn luyện quá lâu mà không theo dõi validation cũng dễ gây quá khớp.

Ôn lạiBài 1.2Underfit và overfit là chẩn đoán có điều kiệnBài 2.2Khi mô hình học thuộc

Thêm tham số làm mô hình dễ học thuộc hơn. Dừng sớm, phạt tổng bình phương trọng số (L2) và thêm dữ liệu đều giúp mô hình bớt học thuộc.

Ôn lạiBài 2.2Khi mô hình học thuộcBài 2.2Phạt độ lớn trọng số