Language model

Language model dự đoán token tiếp theo từ các token đứng trước, như bàn phím điện thoại gợi ý từ tiếp theo khi gõ “em học”. Lặp lại việc đó nhiều lần là sinh được cả đoạn văn. Bài này bắt đầu với bigram để tính xác suất bằng tay, rồi chuyển sang Transformer, học các cách chọn token khi sinh văn bản (decoding) và chỉ số perplexity. Cuối bài là vì sao một câu trôi chảy chưa chắc là câu đúng.