Prédire le prochain token
Situation concrète
Un long paragraphe naît d’une décision répétée : quel token placer maintenant, étant donné tout ce qui tient dans le contexte disponible ?
Objectifs d’apprentissage
- Expliquer la boucle autorégressive de génération
- Identifier les limites de l’analogie avec l’autocomplétion
Prérequis
- Leçon 1.1
Mode simple
Le modèle calcule plusieurs suites possibles, en choisit une, l’ajoute au texte, puis recommence. Chaque nouveau token change le contexte de l’étape suivante. Même si l’objectif porte sur une seule unité, la répétition peut former un plan, conserver un style ou fermer une parenthèse plusieurs lignes plus tard. L’autocomplétion du téléphone donne une première image, mais un grand modèle combine davantage de contexte, de capacité et de compétences apprises.
Mode approfondi
La probabilité d’une séquence peut être décomposée en produit de probabilités conditionnelles successives. Pendant le préentraînement, plusieurs positions sont évaluées en parallèle sous masque causal ; pendant la génération, le système échantillonne ou sélectionne une unité, l’ajoute au préfixe et lance l’étape suivante. Les capacités observées ne changent pas l’objectif formel de base, mais elles rendent la formule « seulement une autocomplétion » insuffisante pour prédire le comportement ou le niveau de calcul interne.
Analogie
Écrire une histoire avec des cartes : à chaque tour, la carte posée devient une nouvelle contrainte pour toutes les cartes suivantes.
Exemple concret
Après « Pour vérifier ce chiffre, je commence par », le choix « ouvrir » favorise ensuite un objet comme « le rapport », puis une action de comparaison.
Cinq étapes circulaires montrent le contexte transformé en scores, un token choisi, ajouté au texte puis réinjecté.
Activité manipulable
Confusion fréquente
L’objectif du prochain token ne signifie pas que le modèle choisit toujours l’unité la plus probable, ni que chaque token correspond à un mot entier.
Vérification rapide
Pourquoi la deuxième décision dépend-elle de la première ?
Le premier token choisi est ajouté au préfixe. Il devient donc une partie du contexte utilisé pour recalculer la distribution suivante.
Résumé
- Une réponse se construit token après token.
- Chaque choix modifie les probabilités futures.
- L’autocomplétion est une analogie de départ, pas une description complète.