Pipeline và data leakage

Con số trung bình đã chứa thông tin của tập test, nên test không còn hoàn toàn mới. Đó là rò rỉ dữ liệu (data leakage). Cách đúng là chia trước, rồi chỉ tính trung bình trên train.

Ôn lạiBài 1.4Data leakage: thông tin vượt qua ranh giới

One-hot tạo ba cột “đỏ”, “trắng”, “đen”. Xe màu nào thì cột đó bằng 1, hai cột kia bằng 0. Xóa cột thì có thể mất thông tin có ích.

Ôn lạiBài 1.4Bảng có số, chữ và ô thiếuBài 2.11Đặc trưng phân loại

(40 − 20) / (60 − 20) = 20 / 40 = 0,5. Người 20 tuổi thành 0, người 60 tuổi thành 1.

Ôn lạiBài 1.4Tiền xử lý cũng là một phần của mô hìnhBài 2.1Chuẩn hóa đặc trưng