Canuc80k AI

Hạ gradient (Gradient Descent)

Hạ gradient cập nhật tham số theo hướng ngược gradient của loss để giảm lỗi. Learning rate quyết định bước cập nhật lớn đến đâu.

Điểm chính

Với tham số θ và learning rate η, một bước cơ bản là lấy θ hiện tại trừ η nhân gradient tại θ. Khi dùng minibatch, gradient được ước lượng từ một phần tập train.

Chỗ dễ nhầm

Bước quá lớn có thể làm loss tăng hoặc dao động; bước quá nhỏ làm học chậm. Ở mô hình phi lồi, gradient gần 0 cũng chưa chứng minh đã tìm được nghiệm tốt nhất.