Canuc80k AI
Tra cứu khái niệm AI và học máy
Tra nhanh ý nghĩa của các chỉ số, cách mô hình hoạt động và những điều dễ nhầm khi đánh giá kết quả.
Các mục tra cứu do Canuc80k AI biên soạn.
Dữ liệu và kiểm tra mô hình
- Tập train, validation và test khác nhau thế nào?
Tập train dùng để học tham số, validation dùng để chọn mô hình hoặc siêu tham số, còn test dùng để ước lượng kết quả cuối trên dữ liệu chưa đụng tới.
- Rò rỉ dữ liệu (Data Leakage)
Rò rỉ dữ liệu xảy ra khi mô hình hoặc quy trình đánh giá dùng thông tin mà ở thời điểm dự đoán thật chưa thể biết. Điểm kiểm tra có thể cao giả tạo.
- Kiểm định chéo (Cross-validation)
Kiểm định chéo k phần huấn luyện k lần: mỗi lần giữ một phần để đánh giá, dùng các phần còn lại để học. Điểm gộp ít phụ thuộc vào một lần chia.
- Overfitting và underfitting
Overfitting là học quá sát dữ liệu train nên dự đoán kém trên dữ liệu mới. Underfitting là mô hình chưa học được quy luật đủ tốt ngay cả trên train.
Chỉ số đánh giá và cách đọc kết quả
- Precision, Recall và F1-score
Precision đo trong các dự đoán dương có bao nhiêu dự đoán đúng. Recall đo trong các mẫu dương thật phát hiện được bao nhiêu. F1 cân bằng hai tỷ lệ này.
- Macro F1, Micro F1 và Weighted F1
Macro F1 lấy trung bình F1 của các lớp với trọng số bằng nhau. Micro F1 gộp số lần đúng, nhầm và bỏ sót trước khi tính. Weighted F1 cân theo số mẫu mỗi lớp.
- ROC-AUC và PR-AUC khác nhau thế nào?
ROC dùng tỷ lệ dương thật và tỷ lệ dương giả; đường Precision-Recall dùng precision và recall. Với lớp dương hiếm, đường PR thường cho thấy rõ hơn mức báo nhầm.
- MAE và RMSE trong bài toán hồi quy
MAE là trung bình độ lớn sai số. RMSE là căn bậc hai của trung bình bình phương sai số. Cả hai cùng đơn vị với biến đích, nhưng RMSE nhạy hơn với sai số lớn.
- Loss và metric khác nhau thế nào?
Loss là hàm mục tiêu dùng khi huấn luyện. Metric là thước đo kết quả cần báo cáo hoặc tối ưu khi chọn mô hình; hai đại lượng có thể khác nhau.
- WER và CER trong nhận dạng giọng nói
WER đo lỗi sửa bản chép ở cấp từ, CER đo ở cấp ký tự. Cả hai cộng số lần thay, xóa, chèn rồi chia cho độ dài bản chuẩn theo đơn vị tương ứng.
- IoU, AP và mAP trong phát hiện vật thể
IoU đo mức chồng lấp giữa hai vùng. Trong phát hiện vật thể, AP tóm tắt precision và recall theo điểm tin cậy; mAP lấy trung bình AP theo quy ước của bộ chấm.
Mô hình học máy và tối ưu
- Hạ gradient (Gradient Descent)
Hạ gradient cập nhật tham số theo hướng ngược gradient của loss để giảm lỗi. Learning rate quyết định bước cập nhật lớn đến đâu.
- Hồi quy tuyến tính (Linear Regression)
Hồi quy tuyến tính dự đoán một giá trị số bằng tổng có trọng số của các đặc trưng và một hệ số chặn. Bình phương sai số là mục tiêu thường dùng khi học.
- Hồi quy logistic dùng để làm gì?
Hồi quy logistic dùng một tổ hợp tuyến tính của đặc trưng để ước lượng xác suất lớp dương. Mô hình logistic nhị phân dùng hàm sigmoid.
- k láng giềng gần nhất (kNN)
kNN dự đoán từ k mẫu huấn luyện gần nhất với điểm cần hỏi. Phân loại thường bỏ phiếu; hồi quy thường lấy trung bình các nhãn số của láng giềng.
- Cây quyết định (Decision Tree)
Cây quyết định chia dữ liệu theo các câu hỏi về đặc trưng. Một mẫu đi từ gốc tới một lá, nơi mô hình trả nhãn hoặc giá trị dự đoán.
- Random Forest và Gradient Boosting
Random Forest gộp dự đoán từ nhiều cây được làm khác nhau bằng lấy mẫu và chọn đặc trưng ngẫu nhiên. Gradient Boosting thêm từng cây để cải thiện hàm mất mát của cả tổ hợp.
Học sâu và mô hình nền
- Mạng nơ ron tích chập (CNN)
CNN dùng bộ lọc nhỏ quét qua dữ liệu và dùng lại cùng trọng số ở nhiều vị trí. Cách này phù hợp khi mẫu cục bộ như cạnh hoặc họa tiết có thể lặp lại.
- Self-attention, Query, Key và Value
Self-attention tạo biểu diễn cho mỗi token bằng cách trộn thông tin từ các token trong cùng dãy. Query và key tính trọng số; value chứa thông tin được trộn.
- Transformer là gì?
Transformer là kiến trúc dùng các khối attention và mạng truyền thẳng để xử lý dãy. Thông tin vị trí giúp mô hình phân biệt thứ tự của các token.
- Transfer learning và fine-tuning
Transfer learning tận dụng một mô hình đã học ở tác vụ khác. Fine-tuning là tiếp tục cập nhật một phần hoặc toàn bộ tham số của mô hình đó trên dữ liệu mới.