Dimensionality reduction

PCA: hướng có phương sai lớn nhất

Phân tích thành phần chính (Principal Component Analysis) tìm các hướng mà dữ liệu trải ra nhiều nhất. Ý tưởng: hướng nào dữ liệu ít thay đổi thì chiếu bỏ đi cũng ít mất thông tin.

Trước hết trừ trung bình để dữ liệu có tâm ở gốc tọa độ. Với ma trận dữ liệu đã trừ trung bình $X \in \R^{n\times d}$, ma trận hiệp phương sai (covariance) là

Ô $(j, j)$ trên đường chéo là phương sai của cột $j$, vì hiệp phương sai của một biến với chính nó là phương sai; ô $(j, l)$ đo hai cột cùng tăng giảm với nhau mạnh đến đâu.

Chiếu mỗi điểm lên hướng đơn vị $\mathbf{u}$ cho các số $X\mathbf{u}$, có phương sai $\mathbf{u}^\top\Sigma\,\mathbf{u}$. Ta cần

Lời giải là hướng thỏa $\Sigma\mathbf{u} = \lambda\mathbf{u}$: $\mathbf{u}$ là vector riêng (eigenvector) của $\Sigma$, và phương sai thu được chính là trị riêng $\lambda$. Thành phần chính thứ nhất là vector riêng ứng với trị riêng lớn nhất; thành phần thứ hai là vector riêng kế tiếp, tự động vuông góc với thành phần thứ nhất; và cứ thế.

Giữ $k$ thành phần đầu, tỉ lệ phương sai giữ lại (explained variance ratio) là

Ba thành phần đầu giữ 60%, 25%, 10% thì giữ hai thành phần là giữ 85%. Cách chọn $k$ thường gặp: giữ đủ để đạt khoảng 95% phương sai, hoặc chọn $k$ bằng cross-validation nếu PCA là bước tiền xử lý cho một mô hình khác.

Tính thử trên bốn điểm đã có trung bình bằng 0: $(-2, -1)$, $(-1, -1)$, $(1, 1)$, $(2, 1)$. Ma trận hiệp phương sai là

Phương trình đặc trưng $\lambda^2 - 3.5\lambda + 0.25 = 0$ cho $\lambda_1 \approx 3.427$, $\lambda_2 \approx 0.073$. Thành phần thứ nhất giữ $3.427/3.5 \approx 97.9\%$ phương sai: bốn điểm gần như nằm trên một đường thẳng. Vector riêng tương ứng có thể chọn $\mathbf{u}_1 \approx (0.851,\ 0.526)$; hướng ngược lại cũng biểu diễn cùng một trục.

Có một cách nhìn tương đương: trong các phép chiếu tuyến tính trực giao xuống $k$ chiều, PCA là phép chiếu làm tổng bình phương khoảng cách tái tạo nhỏ nhất. Giữ nhiều phương sai nhất và mất ít thông tin nhất là cùng một bài toán.

Tính bằng SVD

Có thể tránh lập $\Sigma$ bằng phân tích giá trị kỳ dị (singular value decomposition) của chính $X$:

Các cột của $V$ là các thành phần chính, tọa độ mới của dữ liệu là $XV = US$, và trị riêng $\lambda_i = s_i^2/n$. Phương sai theo mỗi thành phần tỉ lệ với $s_i^2$, không phải $s_i$: giá trị kỳ dị 6 và 2 cho thành phần đầu $36/40 = 90\%$.

Lưu ý khi dùng PCA

• Chuẩn hóa nếu đơn vị khác nhau. Không chuẩn hóa thì một cột đo bằng đồng sẽ “nuốt” toàn bộ phương sai và thành phần chính chỉ là cột đó. Dời cả bảng đi một hằng số không đổi gì, vì PCA trừ trung bình trước; nhưng nhân riêng một cột với hằng số là đổi phương sai của cột đó và đổi các thành phần chính.
• PCA không biết nhãn. Hướng phương sai nhỏ có thể lại là hướng phân biệt các lớp (hình dưới). Giảm chiều quá tay trước khi phân loại có thể làm mất đúng thông tin cần thiết.
• Fit PCA trên train, rồi biến đổi validation và test bằng cùng phép chiếu, như mọi bước tiền xử lý khác (bài 1.4).
• Với dữ liệu thưa như TF-IDF, dùng TruncatedSVD thay cho PCA để không phải trừ trung bình làm mất tính thưa. Kỹ thuật này có tên là latent semantic analysis.

t-SNE và UMAP: để nhìn, không phải để đo

PCA là phép chiếu tuyến tính, nên không “duỗi” được dữ liệu nằm trên mặt cong. t-SNE và UMAP là các phương pháp phi tuyến, cố giữ láng giềng gần của mỗi điểm khi đưa xuống 2 chiều. Chúng cho những hình rất đẹp: các cụm tách bạch rõ ràng. Nhưng đọc hình phải cẩn thận:

• Kích thước cụm và khoảng cách giữa các cụm trên hình gần như không mang ý nghĩa.
• Kết quả phụ thuộc tham số (perplexity của t-SNE, n_neighbors của UMAP) và seed ngẫu nhiên. Chạy vài cấu hình trước khi kết luận.
• Triển khai t-SNE trong scikit-learn không có transform cho điểm mới, nên không dùng làm đặc trưng cho train/test. UMAP thì có transform, nhưng vẫn nên ưu tiên PCA khi cần đặc trưng ổn định.

Tự cài PCA bằng NumPy

Với X có $n$ hàng, $d$ cột, các bước kèm shape:

1. Trừ trung bình từng cột (vector shape (d,)) để dữ liệu có tâm ở 0, được X_centered.
2. SVD của X_centered với full_matrices=False cho U, s, Vt. Hàng đầu của Vt là PC1, shape (d,).
3. Giữ $k$ hướng: Vt[:k].T có shape (d, k). Nhân X_centered với nó, mỗi mẫu còn $k$ tọa độ.
4. Tái tạo: nhân tọa độ với ma trận chuyển vị, rồi cộng lại trung bình.

Code dưới chạy trên bốn điểm ở mục PCA và đối chiếu với scikit-learn.

import numpy as np
from sklearn.decomposition import PCA

X_pca = np.array([[-2., -1.], [-1., -1.], [1., 1.], [2., 1.]])
center = X_pca.mean(axis=0)
X_centered = X_pca - center
U, s, Vt = np.linalg.svd(X_centered, full_matrices=False)
components = Vt[:1].T
coordinates = X_centered @ components
reconstructed = coordinates @ components.T + center
ratio = s[0] ** 2 / np.sum(s ** 2)
library = PCA(n_components=1).fit(X_pca)
print("shape:", components.shape, coordinates.shape, reconstructed.shape)
print("tỉ lệ:", round(float(ratio), 4))
print("MSE tái tạo:", round(float(np.mean((reconstructed - X_pca) ** 2)), 6))
print("khớp tái tạo:", np.allclose(reconstructed, library.inverse_transform(library.transform(X_pca))))

Kết quảshape: (2, 1) (4, 1) (4, 2)
tỉ lệ: 0.9792
MSE tái tạo: 0.036475
khớp tái tạo: True

Hai điểm hay bị tưởng là lỗi:

• Dấu ngược. SVD có thể cho $-\mathbf u$ thay vì $\mathbf u$. Hai vector mô tả cùng một đường: tọa độ đổi dấu nhưng dữ liệu tái tạo không đổi. Vì vậy so hai cách cài PCA bằng dữ liệu tái tạo, không so từng hệ số.
• Mẫu số $n - 1$. scikit-learn tính phương sai với mẫu số $n-1$, bài này dùng $n$. Tỉ lệ giữ lại không đổi vì mọi trị riêng cùng nhân một hệ số.

Dùng thư viện

import numpy as np
from sklearn.datasets import load_digits
from sklearn.decomposition import PCA
from sklearn.preprocessing import StandardScaler

X, y = load_digits(return_X_y=True)          # 1797 ảnh 8×8 = 64 chiều
for name, data in [("thô", X), ("chuẩn hóa", StandardScaler().fit_transform(X))]:
    pca = PCA().fit(data)
    k = np.searchsorted(np.cumsum(pca.explained_variance_ratio_), 0.95) + 1
    print(f"{name}: cần {k} trên 64 thành phần để giữ 95% phương sai")

Kết quảthô: cần 29 trên 64 thành phần để giữ 95% phương sai
chuẩn hóa: cần 40 trên 64 thành phần để giữ 95% phương sai

Chuẩn hóa làm cần nhiều thành phần hơn. Các pixel ở viền ảnh gần như luôn trắng, phương sai rất nhỏ; chuẩn hóa chia chúng cho độ lệch chuẩn bé xíu nên chúng thành những chiều có phương sai 1, ngang các pixel giữa ảnh chứa nét chữ. Ở ảnh, các pixel đã cùng đơn vị, nên chuẩn hóa không bắt buộc và cần kiểm bằng validation.

Ví dụ này cũng cho thấy “giữ 95% phương sai” là 95% tổng phương sai theo thang đo đang dùng: đổi thang thì con số đổi. Nó không phải 95% thông tin về nhãn, và không bảo đảm accuracy còn 95%.