06
Module 6 · 3 leçons
Architectures modernes
Comparer les familles et variantes d’attention, puis lire les nombres publiés d’un modèle MoE sans les attribuer à un autre.
- Durée
- 95 min
- Évaluation
- 4 questions
Cap à suivre
À la fin de ce module
- Objectif 1
Distinguer Transformer, GPT et produit conversationnel
- Objectif 2
Comparer MHA, MQA, GQA et MLA
- Objectif 3
Différencier paramètres totaux et paramètres actifs
Itinéraire
Les leçons
- 01Transformer, GPT et produit conversationnelSéparer une architecture générale, une famille de modèles autorégressifs et un produit complet avec interface, règles et outils.architecture décodeurmodèleproduit25 min →
- 02MHA, MQA, GQA et MLAComparer quatre organisations de l’attention en suivant le nombre de requêtes, le partage des clés-valeurs et les compromis d’inférence.MHAMQAGQA34 min →
- 03MoE et le cas public DeepSeek-V3Comprendre le routage épars et attribuer correctement les nombres publics de capacité totale, calcul actif, couches, largeur et têtes.Mixture-of-Expertsroutageparamètres actifs36 min →
Faire le point
Quiz — Architectures modernes
Quatre questions variées avec correction détaillée pour vérifier les distinctions et mécanismes du module.
Activité interactive
Quiz — Architectures modernes
Sélectionne la ou les réponses, valide, puis lis l’explication avant de continuer.
Question 1 sur 4, de type réponse unique.
Question 1/4