Feature engineering

Mỗi mô hình cần một kiểu đặc trưng

Ví dụ đơn giản nhất của tạo đặc trưng là tính tuổi từ ngày sinh. Học máy cổ điển cần người làm việc này; mạng học sâu ở các chương sau tự học đặc trưng từ ảnh, chữ, âm thanh. Với dữ liệu bảng cỡ vừa, gradient boosting trên cây kèm vài đặc trưng tốt thường là lựa chọn mạnh nhất.

Cùng một dữ liệu, cách biến đổi đúng phụ thuộc mô hình sẽ dùng:

Đặc trưng số

• Biến đổi. Biến lệch phải (thu nhập, số lượt xem) qua $\log(1 + x)$ trở nên cân đối hơn, có ích cho mô hình tuyến tính và kNN. Với target lệch như giá nhà, học $\log(\text{giá})$ biến sai số thành sai số theo tỉ lệ: lệch 10% ở căn 3 tỉ hay căn 300 tỉ tính như nhau, nên vài căn rất đắt không lấn át loss.
• Tỉ số và hiệu. Tổng tiền chia số món ra giá trung bình mỗi món; số đơn trừ số đơn hủy ra số đơn thành công. Những phép tính con người thấy “có nghĩa” thường là đặc trưng tốt, vì cây phải dùng rất nhiều ngưỡng mới xấp xỉ được một phép chia số học. Điều kiện duy nhất: mọi thành phần của phép tính phải có sẵn lúc dự đoán.
• Rời rạc hóa (binning) thành khoảng, ví dụ nhóm tuổi: đôi khi giúp mô hình tuyến tính bắt được quan hệ không đơn điệu.

Đặc trưng phân loại

Target encoding mạnh nhưng nguy hiểm: dùng $y$ để tạo đặc trưng chính là cửa ngõ rò rỉ dữ liệu. Hai quy tắc:

1. Tính out-of-fold. Giá trị mã hóa của một mẫu chỉ được tính từ các fold khác, không bao giờ dùng chính $y$ của nó.
2. Làm mượt (smoothing) cho giá trị hiếm. Với giá trị $c$ xuất hiện $n_c$ lần, trung bình nhãn $\bar y_c$, trung bình toàn cục $\bar y$ và hệ số $m$:

Ví dụ: quận A chỉ có 3 mẫu và cả 3 đều có nhãn 1, trong khi tỉ lệ chung là 0.3. Với $m = 10$, $\text{TE}(A) = (3 \cdot 1 + 10 \cdot 0.3)/13 \approx 0.46$, không phải 1.0. Ba mẫu chưa đủ để tin rằng quận A “chắc chắn” mang nhãn 1.

CatBoost cài sẵn một biến thể an toàn của target encoding; LightGBM cũng nhận trực tiếp cột phân loại.

Khi một mẫu có thể mang nhiều giá trị cùng lúc, như một phim có nhiều diễn viên trong danh sách 200 người, dùng multi-hot: 200 cột 0/1, cho phép nhiều số 1 trên cùng một hàng.

Giá trị thiếu

Trước khi xử lý, hỏi vì sao ô bị trống. Xóa mọi dòng có ô trống thường đắt hơn tưởng: 20 cột, mỗi ô thiếu ngẫu nhiên 15% thì chỉ $0.85^{20} \approx 4\%$ số dòng còn đủ.

• Điền bằng median (số) hoặc giá trị phổ biến nhất (phân loại), học trên train rồi áp lên mọi tập.
• Thêm cột chỉ báo “có bị thiếu không”. Việc thiếu cũng là thông tin: khách bỏ trống ô thu nhập có thể khác hẳn khách điền đầy đủ.
• Với các thư viện boosting, thường để nguyên NaN cho mô hình tự học hướng đi tốt nhất.

Điền trung bình còn làm cột trông ít biến động hơn thực tế: cột 2, 4, 8 cùng hai ô trống điền bằng trung bình $14/3$ thì phương sai giảm từ $6.22$ xuống $3.73$.

Thời gian

• Trước hết đưa mọi cách viết ngày (“11/10/2026”, “2026-10-11”) về một định dạng, và biết chắc “11/10” là ngày-tháng hay tháng-ngày.
• Tách ngày giờ thành năm, tháng, ngày trong tuần, giờ, ngày lễ, cuối tuần.
• Đặc trưng có chu kỳ như giờ trong ngày nên mã hóa trên đường tròn, để 23 giờ và 0 giờ nằm gần nhau:

Với cách này, khoảng cách giữa 23 giờ và 0 giờ là $0.26$, còn giữa 12 giờ và 0 giờ là $2$, đúng như trực giác. Nếu chỉ dùng số giờ thì 23 và 0 cách nhau xa nhất.

Chuỗi thời gian

Dự đoán $y_t$ từ quá khứ, các đặc trưng hay dùng:

• Lag: $y_{t-1}, y_{t-7}, y_{t-365}$, tùy chu kỳ của dữ liệu.
• Thống kê cửa sổ trượt (rolling): trung bình, độ lệch chuẩn của $k$ bước gần nhất.
• Sai phân quá khứ: $y_{t-1} - y_{t-2}$ để dự đoán $y_t$, đo xu hướng từ những giá trị đã có.

Quy tắc vàng: mọi đặc trưng tại thời điểm $t$ chỉ được dùng thông tin trước $t$. Rolling mean phải dịch lùi một bước (shift(1)) trước khi lấy cửa sổ; nếu không, giá trị cần dự đoán đã nằm sẵn trong đặc trưng. Validation cũng phải chia theo thời gian (bài 1.3).

Lag và rolling bằng pandas

Cửa hàng A có doanh số 5, 7, 6 ở ba giờ liên tiếp. Khi dự đoán giờ kế tiếp, lag_1 bằng 6 và trung bình hai giá trị gần nhất là $(7+6)/2=6.5$. Nhưng nếu đang dự đoán chính giờ có số 6 mà rolling lại gồm số 6, ta đã dùng đáp án. shift(1) đẩy mỗi giá trị xuống một hàng: doanh số của một giờ chỉ được dùng từ giờ sau.

import numpy as np
import pandas as pd

history = pd.DataFrame({"shop": ["A", "A", "A", "B", "B"],
                        "time": [1, 2, 3, 1, 2],
                        "sales": [5., 7., 6., 3., 4.]})
history = history.sort_values(["shop", "time"])
history["lag_1"] = history.groupby("shop")["sales"].shift(1)
history["mean_prev_2"] = history.groupby("shop")["sales"].transform(
    lambda s: s.shift(1).rolling(2, min_periods=2).mean()
)
print(history.to_string(index=False))
assert history.loc[2, "mean_prev_2"] == 6.

Kết quảshop  time  sales  lag_1  mean_prev_2
   A     1    5.0    NaN          NaN
   A     2    7.0    5.0          NaN
   A     3    6.0    7.0          6.0
   B     1    3.0    NaN          NaN
   B     2    4.0    3.0          NaN

Ở giờ 3 của A, mean_prev_2 là 6 vì hai giờ trước có 5 và 7. Đầu chuỗi thiếu lịch sử nên NaN là đúng, không phải code hỏng. Có thể điền bằng giá trị học trên train, hoặc để model tự xử lý NaN; điền bằng dữ liệu tương lai cho “đỡ mất hàng” là leakage. Nhớ sort theo thời gian trong từng nhóm trước khi shift.

Dự báo nhiều giờ một lúc. Nếu phải dự đoán cả khối giờ tương lai một lần, doanh số của những giờ đầu khối chưa có để làm lag cho giờ sau. Khi đó hoặc dự đoán đệ quy (lấy dự đoán của giờ trước làm lag), hoặc chỉ dùng lag đủ xa, ví dụ đoán 24 giờ tới thì chỉ dùng lag từ 24 trở lên. Không được lấy target thật của validation làm lag như thể đã biết.

Đặc trưng gộp nhóm

Thống kê theo nhóm thường là đặc trưng mạnh nhất trong dữ liệu bảng: số đơn trung bình của mỗi khách, giá trung bình của mỗi danh mục, độ lệch của một giao dịch so với thói quen của chính người đó. Với pandas, đó là một dòng groupby(...).transform("mean"). Nếu thống kê có dùng $y$, quy tắc out-of-fold ở phần target encoding vẫn áp dụng.

Giá trị mới ở test

Mã cửa hàng là danh mục, không phải số để so lớn nhỏ. One-hot dành một cột cho mỗi giá trị đã thấy; ở test có mã mới thì handle_unknown="ignore" cho toàn số 0 trong nhóm cột đó. Code chạy được, nhưng mô hình không biết gì về cửa hàng mới. Muốn đoán tốt cửa hàng mới, cần đặc trưng chung như khu vực hay diện tích, nếu thông tin đó có sẵn.

Code dưới ghép điền thiếu, chuẩn hóa và one-hot vào một ColumnTransformer, fit trên train rồi transform một cửa hàng mới.

from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.pipeline import make_pipeline
from sklearn.preprocessing import OneHotEncoder, StandardScaler

train_features = pd.DataFrame({"size": [10., np.nan, 30.], "shop": ["A", "B", "A"]})
new_features = pd.DataFrame({"size": [20.], "shop": ["C"]})
numeric = make_pipeline(SimpleImputer(strategy="median"), StandardScaler())
preprocessor = ColumnTransformer([
    ("number", numeric, ["size"]),
    ("category", OneHotEncoder(handle_unknown="ignore", sparse_output=False), ["shop"]),
])
encoded_train = preprocessor.fit_transform(train_features)
encoded_new = preprocessor.transform(new_features)
print("shape:", encoded_train.shape, encoded_new.shape)
print("mẫu mới:", encoded_new.round(3).tolist())

Kết quảshape: (3, 3) (1, 3)
mẫu mới: [[0.0, 0.0, 0.0]]

Hàng mới có cột số chuẩn hóa bằng 0 vì 20 bằng median/mean của train sau điền thiếu, còn hai cột A/B đều bằng 0 vì C chưa xuất hiện. Quan trọng là không fit_transform lại trên từng tập: như vậy số cột và ý nghĩa cột có thể đổi, chưa kể thống kê validation bị dùng để học phép biến đổi.

Văn bản, ảnh, âm thanh

Dữ liệu không có cấu trúc cũng cần thành vector:

• Văn bản: đếm từ, TF-IDF (bài 6.1), hoặc embedding câu (bài 6.2).
• Ảnh, âm thanh: embedding từ model pretrained (Chương 4).

Sau đó, mọi kỹ thuật của chương này dùng lại được: PCA cho embedding, kNN trên embedding, gradient boosting trên embedding ghép với đặc trưng bảng.

Làm có kiểm chứng

Thêm đặc trưng là thêm giả thuyết; giả thuyết cần được kiểm. Quy trình đơn giản mà hiệu quả:

1. Dựng baseline và ghi điểm cross-validation.
2. Thêm một nhóm đặc trưng, đo lại bằng đúng cùng các fold. Giữ nếu tăng rõ, bỏ nếu không.
3. Ghi lại mọi thử nghiệm: nhóm đặc trưng, điểm từng fold, thời gian chạy.

Làm ngược lại, tức bỏ từng nhóm khỏi mô hình đầy đủ (ablation), cho biết nhóm nào thật sự gánh điểm. Feature importance của mô hình cây chỉ là gợi ý; permutation importance trên validation đáng tin hơn.

Đừng lọc đặc trưng chỉ bằng điểm của từng cột riêng lẻ: với $y = x_1 \text{ XOR } x_2$, mỗi cột một mình không nói gì về $y$ (thông tin tương hỗ bằng 0), nhưng hai cột cùng nhau xác định $y$ hoàn toàn.

Mỗi đặc trưng nên trả lời được hai câu: nó được biết lúc nào, và vì sao có thể liên quan target. Ví dụ “giờ cuối tuần” có thể đổi nhu cầu thật; còn “mã đơn” có thể chỉ vô tình tăng theo thời gian.

Danh sách kiểm tra rò rỉ

Trước khi vui mừng vì điểm validation tăng vọt, tự hỏi:

• Đặc trưng này có dùng $y$ của chính mẫu đó không?
• Có dùng thông tin từ tương lai không?
• Có được tính trên cả train lẫn test cùng lúc, kiểu chuẩn hóa hay đếm tần suất trên toàn bộ dữ liệu, theo cách mà lúc triển khai thật không làm được không?
• Lúc dự đoán thật, đặc trưng này có sẵn không?

Một đặc trưng tốt đến mức khó tin thì thường đúng là không nên tin.

Dùng thư viện

import numpy as np
import pandas as pd

df = pd.DataFrame({
    "time": pd.date_range("2026-10-01", periods=6, freq="h"),
    "shop": ["A", "B", "A", "A", "B", "A"],
    "sales": [5, 3, 7, 6, 4, 9],
})
df["hour_sin"] = np.sin(2 * np.pi * df["time"].dt.hour / 24)
df["hour_cos"] = np.cos(2 * np.pi * df["time"].dt.hour / 24)
df["lag_1"] = df.groupby("shop")["sales"].shift(1)
df["roll_mean_2"] = df.groupby("shop")["sales"].transform(lambda s: s.shift(1).rolling(2).mean())
df["shop_count"] = df.groupby("shop").cumcount()  # số lần đã xuất hiện trước hàng hiện tại
print(df.drop(columns="time").round(2).to_string())

Kết quả  shop  sales  hour_sin  hour_cos  lag_1  roll_mean_2  shop_count
0    A      5      0.00      1.00    NaN          NaN           0
1    B      3      0.26      0.97    NaN          NaN           0
2    A      7      0.50      0.87    5.0          NaN           1
3    A      6      0.71      0.71    7.0          6.0           2
4    B      4      0.87      0.50    3.0          NaN           1
5    A      9      0.97      0.26    6.0          6.5           3