Chiến lược thi

Chọn việc tiếp theo khi thời gian và lượt nộp có hạn

Chương 8 · Bài 8.1

2

Còn 35 phút

Model ảnh đã khá tốt.

Bài văn bản chưa có file hợp lệ để nộp.

Có nên chạy thêm một seed cho ảnh?

Bài không có file nộp thì chắc chắn 0 điểm, dù model tốt đến đâu.

Bài này học cách chia thời gian giữa các việc.

3

Mục tiêu

Ghi lại yêu cầu của mỗi bài: đầu vào, metric, tài nguyên, thời gian chạy, file nộp.
Quy điểm các bài về cùng thang để so sánh.
Lập kế hoạch thời gian cho cả buổi thi.
Đọc điểm public đúng mức tin cậy; luôn giữ một bài nộp hợp lệ.

01

Đọc yêu cầu của bài

Đọc yêu cầu của bài5

Đọc để quyết định

Câu hỏi	Hệ quả
Nhãn hay xác suất?	Đúng output cho metric
Chấm CSV hay notebook?	Đúng runtime cần đo
Nhóm mới hay nguồn cũ?	Đúng validation
Model, dữ liệu nào được dùng?	Có sẵn lúc inference

Runtime notebook có thể gồm đọc dữ liệu, nạp model, train và predict.

Đọc năm, vòng, statement đúng bài.

Đọc yêu cầu của bài6

Hai kỳ thi, hai kiểu yêu cầu

IOAI 2026, Individual Contest

Hai ngày, ba bài mỗi ngày, sáu giờ mỗi ngày.
Appendix đặt giới hạn chung; statement có thể quy định khác.

USA-NA-AIO 2026, Vòng 2

Nộp CSV, notebook và báo cáo các hướng đã thử.
Có bài: notebook không chạy trên GPU L4 thì 0 điểm.

Đọc yêu cầu của bài7

Hỏi nhanh

Đề chấm bằng cách chạy lại notebook từ đầu trên máy chấm, giới hạn 5 phút. Đội chỉ bấm giờ dòng model.predict(X_test), được 40 giây. Phép đo này còn thiếu gì?

Đọc yêu cầu của bài8

Runtime tính cả notebook

Máy chấm chạy lại cả notebook: đọc dữ liệu, nạp model và train đã vượt 5 phút trước khi tới bước dự đoán.

Đọc yêu cầu của bài9

Hỏi nhanh

Metric là log loss trên 100 mẫu, và scorer cắt xác suất vào $[10^{-15}, 1 - 10^{-15}]$ . Đội nộp nhãn cứng 0/1 thay cho xác suất, và đúng 90 mẫu. Log loss xấp xỉ bao nhiêu?

Đọc yêu cầu của bài10

Nhãn cứng và log loss

Nộp nhãn cứng 0/1 cho log loss 3.45; nộp xác suất 0.9 chỉ tốn 0.325.

02

Baseline và điểm chuẩn hóa

Baseline và điểm chuẩn hóa12

Công thức chuẩn hóa

N(s)=100\frac{s-b}{u-b}

$s$ : metric bài nộp; $b$ : baseline; $u$ : mốc tốt nhất.

Cùng đơn vị cho $s,b,u$ ; đạt đúng baseline cho $N=0$ .

Metric càng thấp càng tốt: vẫn đúng chiều nếu $u$ là giá trị tốt nhất.

Baseline và điểm chuẩn hóa13

Điểm chuẩn hóa của bài A

A: $b=0.58$ , $u=0.90$ , $s=0.70$ .

100\frac{0.12}{0.32}=37.5

B: $b=0.60$ , $u=0.90$ , $s=0.75$ .

100\frac{0.15}{0.30}=50

Kết quảA 37.50
B 50.00
baseline 0.0

Accuracy thô không so trực tiếp được khi baseline và khoảng chuẩn hóa khác nhau.

Baseline và điểm chuẩn hóa14

Cùng thước 0 đến 100

Cùng thang điểm chuẩn hóa: accuracy 0.70 ở bài A được 37.5 điểm, 0.75 ở bài B được 50.

Baseline và điểm chuẩn hóa15

Mốc trên có thể chưa biết

USA-NA-AIO 2026, Vòng 2:

$u$ là bài tốt nhất trong mọi bài nộp.
Có bài: $u$ còn so với model chuyên gia giữ kín.
Tệ hơn baseline: 0 điểm.

Cùng một file, điểm phụ thuộc bài tốt nhất của người khác.

Lập kế hoạch bằng khoảng ước lượng của $u$ ; phần kiểm soát được là $s-b$ .

Baseline và điểm chuẩn hóa16

Hỏi nhanh

Với $b = 0.50$ và $u = 0.90$ , cải thiện metric từ 0.66 lên 0.70 làm $N$ tăng bao nhiêu?

03

Phân bổ thời gian

Phân bổ thời gian18

Một thí nghiệm trả lời một câu hỏi

Giả thuyết: bigram (cặp từ) giúp đoạn ngắn.

Giữ split, metric và preprocessing còn lại.

Đo log loss theo độ dài, ghi runtime.

Đổi năm yếu tố cùng lúc thì không biết yếu tố nào giúp.

Kết quả âm vẫn loại được một hướng.

Phân bổ thời gian19

Ba chuỗi thí nghiệm

180 phút: 30 phút đọc đề và dựng đường nộp, 130 phút cải thiện, 20 phút chạy lại và kiểm file.

Việc	Mức 1	Mức 2 cộng dồn
A	30 phút, 10 điểm	60 phút, 14 điểm
B	40 phút, 14 điểm	80 phút, 17 điểm
C	25 phút, 2 điểm	60 phút, 16 điểm

C mức 1 dựng bộ mô phỏng, gần như chưa tăng điểm; mức 2 mới dùng nó.

Mỗi việc một mức: $3^3=27$ kế hoạch.

Phân bổ thời gian20

Duyệt hết so với tham lam

Kết quảduyệt hết ((1, 1, 2), 130, 40)
tham lam  ((2, 1, 1), 125, 30)

Bộ ba là mức của A, B, C; rồi phút, điểm.

Tham lam lấy B, A (0.35 và 0.33 điểm mỗi phút), rồi A mức 2 (0.13) vì C mức 1 chỉ 0.08.

C mức 2 đáng 0.4 điểm mỗi phút, nhưng phải trả bước đầu.

Nhiều việc hơn: quy hoạch động theo số phút.

Phân bổ thời gian21

Mỗi chấm là một kế hoạch

Điểm tối đa theo ngân sách: ở 130 phút, duyệt hết đạt 40 điểm, tham lam dừng ở 30.

Phân bổ thời gian22

Hỏi nhanh

Nếu phần kiểm cuối cần 50 phút thay vì 20, ngân sách cải thiện chỉ còn 100 phút. Với cùng bảng ấy, kế hoạch nào cho điểm dự kiến cao nhất?

Phân bổ thời gian23

Thêm rủi ro vào quyết định

V=\frac{p\,\Delta N}{t}

$p$ : xác suất thành công ước lượng

$\Delta N$ : điểm tăng nếu thành công; $t$ : số phút

Đơn vị: điểm dự kiến mỗi phút.

Chỉ dùng $V$ để xếp các bước tùy chọn; file nộp sai định dạng vẫn phải sửa trước.

Phân bổ thời gian24

Sửa schema có thể đáng hơn thêm seed

Xếp ba việc theo điểm dự kiến mỗi phút: sửa schema 0.72, model mới 0.15, thêm seed 0.07.

Phân bổ thời gian25

Hỏi nhanh

Một thí nghiệm được ước lượng tăng 12 điểm với xác suất thành công 0.5, và cần 30 phút. $V$ bằng bao nhiêu?

Phân bổ thời gian26

Hỏi nhanh

Còn 30 phút. Thí nghiệm X có $p = 0.5$ , tăng 40 điểm, cần 20 phút, nên $V = 1.0$ . Y và Z độc lập, mỗi việc có $p = 0.8$ , tăng 15 điểm, cần 15 phút, nên $V = 0.8$ . Chọn theo $V$ từ cao xuống được bao nhiêu điểm dự kiến, và có cách nào tốt hơn không?

Phân bổ thời gian27

Tỉ số cao chưa chắc dùng hết giờ

Chọn X vì hiệu quả nhất lại thừa 10 phút vô ích; làm Y rồi Z được nhiều điểm hơn.

04

Đọc phản hồi public

Đọc phản hồi public29

Public là một phép đo có nhiễu

Test kín 2000 dòng: A đúng 0.80, B đúng 0.81.

Hai model chỉ khác nhau ở 140 dòng.

Rút phần public ngẫu nhiên 5000 lần, đếm lần public không thấy B hơn.

Kết quảhidden 0.8 0.81
200 A >= B: 0.33 std 0.018
1000 A >= B: 0.05 std 0.006

Public 200 dòng: sai hoặc hòa khoảng một phần ba số lần.

Đọc phản hồi public30

Phân bố chênh lệch public

Với 200 dòng public, 33% số lần xếp nhầm A ngang hoặc hơn B; với 1000 dòng còn 5%.

Đọc phản hồi public31

Mỗi lần rút public một kết quả

B thật sự hơn A, nhưng mỗi lần rút 200 dòng public cho một chênh lệch khác; phần cam là lúc public nói ngược.

Đọc phản hồi public32

Lượt nộp là một phép đo

Một lượt nộp trả lời một câu hỏi.

“R03: đổi n-gram, giữ split S1, log loss giảm”: kiểm lại được.

“Bản mới tốt nhất”: không kiểm được.

Gửi nhiều dự đoán để suy ngược nhãn làm mất mục đích đánh giá và có thể vi phạm luật.

Đọc phản hồi public33

Hỏi nhanh

Public có 200 dòng. Bản R07 đạt 0.815, bản R05 đạt 0.805, tức chênh nhau 2 dòng. Trên validation 5 fold, R05 hơn R07 ở cả 5 fold, trung bình hơn 0.004. Còn một lượt nộp. Nên làm gì?

05

Giữ đường nộp hoạt động

Giữ đường nộp hoạt động35

Quay lại 35 phút

File ngang baseline cho $N=0$ , nhưng mọi cải thiện của bài văn bản đi qua nó.

Không có file: bài văn bản chắc chắn 0.

Seed thêm: khoảng 0.07 điểm dự kiến mỗi phút.

Dựng và lưu file văn bản hợp lệ.
Đưa bài văn bản vượt baseline.
Seed chỉ khi mọi bài có bản dự phòng.

Giữ đường nộp hoạt động36

Hỏi nhanh

Còn 35 phút. Phương án 1 là chạy thêm seed cho ảnh, mất 20 phút, với $p = 0.5$ , tăng 2 điểm. Phương án 2 là dành 15 phút dựng một file văn bản hợp lệ, ngang baseline với $N = 0$ , rồi 20 phút làm TF-IDF với $p = 0.6$ , đạt $N = 20$ . Điểm dự kiến tăng thêm của hai phương án là bao nhiêu?

Giữ đường nộp hoạt động37

Đọc lại CSV

readback = pd.read_csv(StringIO(csv_text),
                       dtype={"id": str})
assert readback["id"].tolist() == expected_ids
assert readback["id"].is_unique
print(csv_text.rstrip())
print("readback", readback.shape, "OK")

Kết quảid,probability
001,0.15
007,0.8
010,0.55
readback (3, 2) OK

ID dạng chuỗi: 001 không thành 1.

Kiểm thêm số hữu hạn và miền xác suất.

Giữ đường nộp hoạt động38

Hỏi nhanh

CSV có đúng số hàng và đúng tên cột, nhưng thứ tự ID khác với file mẫu. Đã kết luận được bài nộp đúng chưa?

Giữ đường nộp hoạt động39

Khi đi thi

Ghi yêu cầu từng bài trước khi code.
Bài nộp hợp lệ cho mọi bài trước.
Đo runtime ở hai kích thước, chừa đệm.

06

Luyện đề

Luyện đề41

Luyện đề 1

Bài hồi quy chấm lỗi trung bình, càng thấp càng tốt. Điểm phần thi là $100\cdot\dfrac{X_{\text{base}} - X}{X_{\text{base}} - X_{\text{best}}}$ , với $X_{\text{best}} = \min(X_{\text{expert}}, X_{\text{thí sinh}})$ , trong đó $X_{\text{expert}}$ là lỗi của một model mà ban giám khảo giữ kín. Lỗi lớn hơn baseline thì được 0 điểm. Biết $X_{\text{base}} = 0.50$ , $X_{\text{expert}} = 0.20$ , bài tốt nhất của thí sinh có lỗi 0.26, còn đội đạt $X = 0.32$ . Đội được bao nhiêu điểm?

Phỏng theoUSA-NA-AIO 2026 · Vòng 2 · Ngày 1 · Problem 2

Luyện đề42

Luyện đề 2

Bài dự đoán giá nhà có 5000 căn, 20 đặc trưng dạng bảng như diện tích, số phòng ngủ, vị trí, tuổi nhà, và cần giải thích được đặc trưng nào ảnh hưởng nhiều. Đã có baseline dự đoán giá trung bình để kiểm đường nộp. Nên thử model chính nào đầu tiên?

Đề thiNOAI 2026 Singapore · Vòng sơ loại · Câu 267

Luyện đề43

Luyện đề 3

Bài phân loại chuỗi cảm biến chấm macro-F1. Luật ghi rằng nếu phát hiện thí sinh gán nhãn test bằng tay thì phần đó được 0 điểm. Model còn phân vân ở 40 chuỗi test, với xác suất từ 0.45 đến 0.55. Một bạn vẽ 40 chuỗi ấy ra và thấy có thể tự đoán nhãn. Nên làm gì?

Phỏng theoUSA-NA-AIO 2026 · Vòng 2 · Ngày 1 · Part 1.4

Luyện đề44

Chốt ý

Đọc yêu cầu → đường nộp → baseline → kế hoạch → bài nộp.

Mỗi bước có một bằng chứng kiểm được trước khi sang bước sau.

Luyện đề45

Sau giờ học

Làm 10 câu kiểm tra cuối bài trên trang bài học.

Chạy notebook; đổi ngân sách 130 phút, đoán trước kế hoạch tốt nhất rồi kiểm bằng phép duyệt hết.