04
Module 4 · 3 leçons
Le Transformer et l’attention
Ouvrir un bloc Transformer et comprendre attention, QKV, masque causal, têtes, résidus, normalisation et MLP.
- Durée
- 88 min
- Évaluation
- 4 questions
Cap à suivre
À la fin de ce module
- Objectif 1
Expliquer le calcul de l’attention sans l’anthropomorphiser
- Objectif 2
Décrire les rôles de Q, K et V et du masque causal
- Objectif 3
Articuler attention, résidu, normalisation et MLP
Itinéraire
Les leçons
- 01Ouvrir un bloc TransformerIdentifier les chemins de calcul d’un bloc et comprendre pourquoi attention et MLP remplissent deux fonctions complémentaires.bloc Transformerrésidunormalisation26 min →
- 02Requêtes, clés, valeurs et masque causalManipuler le cœur du calcul d’attention et comprendre comment le masque interdit l’accès aux tokens futurs.querykeyvalue32 min →
- 03Plusieurs têtes et chemins stablesComprendre pourquoi l’attention est divisée en têtes et comment résidus, normalisation et MLP complètent leur sortie.attention multi-têtesinterprétabilitéconnexion résiduelle30 min →
Faire le point
Quiz — Le Transformer et l’attention
Quatre questions variées avec correction détaillée pour vérifier les distinctions et mécanismes du module.
Activité interactive
Quiz — Le Transformer et l’attention
Sélectionne la ou les réponses, valide, puis lis l’explication avant de continuer.
Question 1 sur 4, de type réponse unique.
Question 1/4