Requêtes, clés, valeurs et masque causal
Situation concrète
L’attention répond à une question précise : pour mettre à jour cette position, quelles autres positions autorisées doivent contribuer, et dans quelles proportions ?
Objectifs d’apprentissage
- Décrire les rôles distincts de Q, K et V
- Expliquer l’ordre masque, softmax et combinaison des valeurs
Prérequis
- Leçon 4.1
Mode simple
Chaque position fabrique une requête, une clé et une valeur. La requête décrit ce qu’elle cherche ; les clés servent à mesurer quelles positions correspondent ; les valeurs contiennent l’information à combiner. Le modèle compare la requête aux clés, bloque les positions futures avec le masque causal, transforme les scores en poids puis additionne les valeurs pondérées. Ces mots sont des analogies : en pratique, Q, K et V sont des vecteurs calculés par des matrices apprises.
Mode approfondi
Pour une tête, Attention(Q,K,V) = softmax((QKᵀ / √dₖ) + M)V. La mise à l’échelle limite la croissance des produits scalaires ; M impose des valeurs très négatives aux positions interdites avant softmax. Chaque ligne des poids autorisés somme à un. Les projections WQ, WK et WV sont apprises, et le résultat est reprojeté avec les autres têtes. Une attention élevée indique une contribution calculée dans ce passage, non une explication causale complète du modèle.
Analogie
Une requête est une question sur un catalogue, les clés sont les index qui permettent la comparaison et les valeurs sont les pages effectivement consultées.
Exemple concret
Pour prédire après « Léa range le livre parce qu’elle… », la position courante peut comparer sa requête aux clés de « Léa », « livre » et « range », puis mélanger les valeurs les plus pertinentes.
Quatre panneaux successifs affichent une requête face aux clés, un triangle de cellules bloquées, des poids totalisant un et des valeurs pondérées.
Activité manipulable
Confusion fréquente
La key ne contient pas la réponse finale et la value n’est pas un mot copié. Ce sont des projections numériques dépendantes de la couche.
Vérification rapide
Pourquoi appliquer le masque avant softmax ?
Les positions futures doivent recevoir une probabilité nulle. Les exclure avant la normalisation empêche leur score de contribuer à la distribution des poids.
Résumé
- Q cherche, K permet la comparaison et V apporte l’information.
- Le masque causal interdit le futur.
- Softmax normalise les scores autorisés avant la somme pondérée.