Chương 4·Bài 4.4Pro
LoRA
Chọn câu
Medium
Câu 1
LoRA giúp tinh chỉnh mô hình lớn rẻ hơn bằng cách nào?
Thay vì cập nhật ma trận W lớn, LoRA học thêm hai ma trận mỏng A và B, rồi cộng tích BA vào W. Số tham số cần học chỉ còn một phần rất nhỏ.
Extra
Câu 2
Mô hình có 24 lớp, d = 1024. Gắn LoRA hạng r = 16 vào hai ma trận chiếu Q và V của mỗi lớp (mỗi ma trận 1024 × 1024). Số tham số cần huấn luyện là bao nhiêu?
Mỗi ma trận thêm A (16 × 1024) và B (1024 × 16): 32 768 tham số. Hai ma trận mỗi lớp, 24 lớp: 32 768·48 = 1 572 864, chỉ khoảng 3% số tham số của chính các ma trận đó (24·2·1024² ≈ 50 triệu). Đó là lý do tinh chỉnh toàn bộ tốn hơn nhiều.
Phỏng theoVOAI 2025 · Vòng sơ loại · Câu 4
Max
Câu 3
Sau khi tinh chỉnh bằng LoRA, có thể triển khai mà không làm chậm suy luận. Vì sao?
BA có cùng kích thước với W, cộng một lần là xong. Mô hình gộp có đúng kiến trúc gốc. Nếu cần đổi nhiều bộ LoRA cho nhiều tác vụ thì giữ riêng để hoán đổi nhanh.