Đạo hàm và gradient

w mới = w − tốc độ học × gradient = 2 − 0,1 × 4 = 1,6. Ta đi ngược hướng gradient để loss giảm.

Ôn lạiBài 0.6Gradient descentBài 2.1Gradient descentBài 3.5Gradient chỉ độ dốc, optimizer chọn bước

Gradient descent dựa vào đạo hàm của loss theo từng trọng số để biết nên tăng hay giảm trọng số đó. Không có đạo hàm thì không có hướng đi. Loss cũng không nhất thiết nằm trong khoảng 0 đến 1.

Ôn lạiBài 0.6Gradient descentBài 2.1Gradient descent

Gradient chỉ hướng loss tăng nhanh nhất tại điểm hiện tại. Đi ngược lại là hướng giảm nhanh nhất, nên mỗi bước nhỏ theo hướng đó làm loss giảm.

Ôn lạiBài 0.6Đạo hàm riêng và gradientBài 2.1Gradient descent