Một căn hộ 70 m², cách trung tâm 8 km, rao bán 4,2 tỷ.

Có giá của 200 căn đã bán quanh đó (dữ liệu giả lập).

Căn rộng hơn thì đắt hơn, xa trung tâm thì rẻ hơn.

Linear regression viết cách ước lượng ấy thành công thức và tìm hệ số từ dữ liệu.

Mỗi đặc trưng đóng góp một lượng tỉ lệ với nó, rồi cộng lại:

$w_j$: dự đoán tăng bao nhiêu khi $x_j$ tăng 1 đơn vị và các đặc trưng khác giữ nguyên.

Cho cả $n$ mẫu cùng lúc:

Tự sinh 200 căn theo một công thức biết trước, cộng nhiễu:

Biết trước đáp án thì kiểm tra được mô hình học đúng hay sai.

rng = np.random.default_rng(0)
n = 200
area = rng.uniform(30, 120, n)
dist = rng.uniform(1, 15, n)
y = 0.05 * area - 0.15 * dist + 1.0 \
    + rng.normal(0, 0.3, n)
X = np.column_stack([area, dist])
print(X.shape, y.shape)

Kết quả(200, 2) (200,)

Xb = np.column_stack([X, np.ones(n)])
theta = np.linalg.solve(Xb.T @ Xb, Xb.T @ y)
w_cf, b_cf = theta[:2], theta[2]
print(w_cf.round(4), round(b_cf, 4))
print(mse(predict(X, w_cf, b_cf), y))
print(predict(np.array([70, 8]), w_cf, b_cf))

Kết quả[ 0.0499 -0.1453] 0.9809
0.08807615180405967
3.309815169606732

• Hệ số $\approx (0.05,\ -0.15,\ 1)$: khôi phục đúng công thức sinh dữ liệu.
• MSE $0.088 \approx 0.3^2$: nhiễu độc lập không dự đoán được cho căn mới; train noise vẫn có thể bị học thuộc.
• Căn 70 m², 8 km: mô hình định giá 3,3 tỷ. Rao 4,2 tỷ là cao hơn 0,9 tỷ.

Không thấy đáy, chỉ cảm nhận độ dốc dưới chân: bước một bước nhỏ về phía dốc xuống, rồi lặp lại.

Với $r_i = \hat y_i - y_i$:

def grad(theta, X, y):
    weights = theta[:-1]
    bias = theta[-1]
    residual = predict(X, weights, bias) - y
    grad_weights = 2 * (X.T @ residual) / len(y)
    grad_bias = 2 * residual.mean()
    return np.append(grad_weights, grad_bias)

gd lặp: ghi loss, rồi theta -= lr * grad(...).

Ba điểm $(1, 2)$, $(2, 3)$, $(3, 5)$.

1. Tìm đường least squares $\hat y = wx + b$.
2. Từ $w = b = 0$, $\eta = 0.1$, làm một bước gradient descent.

Công thức cho một đặc trưng:

$\bar x = 2$, $\bar y = 10/3$, tử số $= 3$, mẫu số $= 2$:

Tại $w = b = 0$: $r = (-2, -3, -5)$,

Sau một bước: $w = 1.53$, $b = 0.67$, loss từ $12.67$ xuống $0.22$.

Xấp xỉ đạo hàm chỉ bằng hàm loss, như viết code trâu để đối chiếu:

Sai số $O(h^2)$, chọn $h \approx 10^{-5}$.

Sai số nhỏ xác nhận đạo hàm tại điểm đã kiểm. Kiểm vài điểm và thang bước sai phân; bước quá nhỏ có thể tăng sai số số học.

for lr in [1e-3, 2e-4, 1e-4]:
    theta_gd, hist = gd(X, y, lr, 1000)
    print(f"lr = {lr:g}: loss sau 1000 vòng = {hist[-1]:.4g}")

Kết quảlr = 0.001: loss sau 1000 vòng = nan
lr = 0.0002: loss sau 1000 vòng = inf
lr = 0.0001: loss sau 1000 vòng = 0.1541

• Hai giá trị đầu: loss nổ tung.
• $10^{-4}$: hội tụ nhưng rất chậm; sau 1000 vòng, $b$ mới đi được $0.01$ trên đường tới $0.98$.

Có đoán trước được không?

X_tr, X_te, y_tr, y_te = train_test_split(
    X, y, test_size=0.2, random_state=0)
model = LinearRegression().fit(X_tr, y_tr)
print(model.score(X_tr, y_tr),
      model.score(X_te, y_te))

Kết quả0.9604123189943734 0.9689505848749018

Hai số là $R^2$ train và test; hệ số trùng code tự viết.

Đọc hệ số cho đúng:

• Hệ số phụ thuộc đơn vị; muốn so sánh thì chuẩn hóa trước.
• Hệ số là mối liên hệ khi giữ các biến khác cố định, không phải nhân quả.
• Luôn vẽ phần dư theo dự đoán.