Plusieurs têtes et chemins stables
Situation concrète
Plusieurs relations peuvent compter simultanément : accord grammatical, référence lointaine, proximité ou ponctuation. Les têtes offrent plusieurs sous-espaces de calcul en parallèle.
Objectifs d’apprentissage
- Expliquer l’intérêt de plusieurs sous-espaces d’attention
- Refuser l’interprétation rigide d’une fonction humaine par tête
Prérequis
- Leçon 4.2
Mode simple
Le modèle partage la largeur de l’attention entre plusieurs têtes. Chacune possède ses propres projections et produit un mélange. Les sorties sont rassemblées puis reprojetées. Une activité peut illustrer une tête « grammaire » et une tête « référence », mais les têtes réelles ne reçoivent pas ces étiquettes. Elles apprennent des motifs parfois distribués, changeants ou difficiles à interpréter. Le résultat rejoint ensuite le chemin résiduel et passe vers la suite du bloc.
Mode approfondi
Avec h têtes, les projections créent h espaces de requêtes, clés et valeurs, généralement de dimension d/h, puis concatènent les sorties. Cette factorisation augmente la diversité des relations disponibles sans multiplier nécessairement la largeur totale de sortie. Des analyses trouvent des motifs spécialisés, mais la causalité d’un comportement peut traverser plusieurs têtes et MLP. Ablation, patching et dictionnaires de caractéristiques apportent plus d’information qu’une simple visualisation de poids.
Analogie
Un dossier passe devant plusieurs lecteurs qui surlignent des aspects différents, puis un éditeur combine leurs notes avec le texte original.
Exemple concret
Dans « Marie donne son livre à Inès parce qu’elle part », certaines relations concernent les personnages, d’autres la syntaxe. Une tête pédagogique peut mettre l’une en avant sans prétendre résoudre seule l’ambiguïté.
Quatre lignes de relations colorées sur la même phrase convergent vers un bloc de combinaison et un chemin direct venu de l’entrée.
Activité manipulable
Confusion fréquente
Une tête n’est ni un neurone unique ni un expert MoE. Elle est un calcul d’attention avec ses projections au sein d’une couche.
Vérification rapide
Pourquoi les étiquettes pédagogiques des têtes doivent-elles rester prudentes ?
Elles illustrent des relations possibles, mais une tête réelle peut porter plusieurs motifs et son rôle peut varier selon les entrées et les couches.
Résumé
- Les têtes opèrent dans plusieurs sous-espaces.
- Leurs sorties sont concaténées et reprojetées.
- Un motif visible n’est pas une fonction humaine fixe garantie.