05
Module 5 · 3 leçons
Génération, contexte et performance
Relier les choix de décodage à la variabilité des réponses, puis mesurer les coûts du contexte et l’apport du cache KV.
- Durée
- 84 min
- Évaluation
- 4 questions
Cap à suivre
À la fin de ce module
- Objectif 1
Passer de logits à une distribution de probabilités
- Objectif 2
Comparer température, échantillonnage et top-p
- Objectif 3
Expliquer le coût quadratique et la réutilisation du cache KV
Itinéraire
Les leçons
- 01Des logits au choix finalTransformer des scores bruts en probabilités et comparer choix glouton, température, échantillonnage et top-p.logitsoftmaxtempérature27 min →
- 02Pourquoi le contexte long coûte cherRelier la longueur d’une séquence au nombre de comparaisons de l’attention dense et distinguer entraînement, préremplissage et génération.complexité quadratiquefenêtre de contextemémoire28 min →
- 03Le cache KV : échanger du calcul contre de la mémoireVoir quelles projections peuvent être réutilisées pendant la génération et pourquoi la vitesse gagnée consomme une mémoire croissante.cache KVdécodage incrémentallatence29 min →
Faire le point
Quiz — Génération, contexte et performance
Quatre questions variées avec correction détaillée pour vérifier les distinctions et mécanismes du module.
Activité interactive
Quiz — Génération, contexte et performance
Sélectionne la ou les réponses, valide, puis lis l’explication avant de continuer.
Question 1 sur 4, de type réponse unique.
Question 1/4