Un modèle qui calcule du texte
Situation concrète
Quand une réponse paraît attentive et bien formulée, nous projetons facilement notre façon de lire sur la machine. Pour comprendre le mécanisme, il faut repartir de ce qui est effectivement calculé.
Objectifs d’apprentissage
- Décrire la différence entre lecture humaine et calcul du modèle
- Relier texte, tokens et représentations numériques
Prérequis
- Module 0
Mode simple
Le modèle reçoit du texte, le découpe en tokens puis remplace chaque token par des nombres. Ses couches transforment ces nombres en tenant compte des tokens précédents. À la fin, il donne des scores aux unités qui pourraient suivre. Ce processus peut produire une explication, une traduction ou du code, mais il ne commence pas par ouvrir un dictionnaire intérieur. Les significations utiles sont réparties dans des représentations et dans les nombreux poids appris pendant l’entraînement.
Mode approfondi
Un modèle autorégressif estime une distribution conditionnelle sur le prochain token à partir d’un préfixe. Le passage du symbole discret au calcul continu se fait par une table d’embeddings, puis par des blocs paramétrés produisant des états contextuels. Dire qu’il « lit » peut rester une commodité de langage au niveau produit ; l’explication mécaniste doit toutefois distinguer performance comportementale, représentation numérique et expérience subjective, sur laquelle ces équations ne concluent pas.
Analogie
Un métier à tisser ne comprend pas le dessin comme l’artiste, mais ses réglages et le fil déjà posé lui permettent de produire un motif cohérent.
Exemple concret
Après « Le chat dort sur le », plusieurs suites restent possibles. Le contexte fait monter les scores de « canapé », « tapis » ou « lit » sans imposer un unique mot universel.
La phrase entre à gauche, devient des blocs numérotés puis des colonnes de nombres, traverse des couches et ressort en scores de tokens.
Activité manipulable
Confusion fréquente
Dire que le modèle ne lit pas comme nous ne signifie pas qu’il ne peut accomplir aucune tâche complexe. Cela précise la nature du mécanisme, pas un verdict global sur ses capacités.
Vérification rapide
Quel objet le modèle manipule-t-il directement dans ses couches ?
Des tenseurs de nombres représentant les tokens et leur contexte. Le texte visible est converti avant les transformations puis reconstruit après le choix des tokens.
Résumé
- Le texte est converti en unités puis en nombres.
- Les couches construisent des représentations contextuelles.
- Une performance proche de la lecture ne prouve pas un mécanisme humain.