Optimizer

Ví dụ có 1000 ảnh và mỗi batch 100 ảnh. Khi đó một epoch có 10 lần cập nhật.

Ôn lạiBài 3.4Một bài nhỏ để kiểm toàn bộ quy trìnhBài 3.5Gradient chỉ độ dốc, optimizer chọn bước

w mới = w − tốc độ học × gradient = 2 − 0,1 × 4 = 1,6. Ta đi ngược hướng gradient để loss giảm.

Ôn lạiBài 0.6Gradient descentBài 2.1Gradient descentBài 3.5Gradient chỉ độ dốc, optimizer chọn bước

Optimizer quyết định cách dùng gradient để chỉnh trọng số. SGD đi một bước ngược hướng gradient. Adam tự điều chỉnh độ dài bước cho từng trọng số.

Ôn lạiBài 3.5Gradient chỉ độ dốc, optimizer chọn bước