MoE et le cas public DeepSeek-V3
Situation concrète
Un modèle peut contenir une grande capacité sans utiliser chaque paramètre pour chaque token. Les couches MoE choisissent quelques experts, ce qui rend les nombres impressionnants faciles à mal comparer.
Objectifs d’apprentissage
- Distinguer paramètres totaux et actifs dans un MoE
- Attribuer les nombres publiés à DeepSeek-V3 sans extrapolation
Prérequis
- Leçon 6.2
Mode simple
Un expert est un sous-réseau, souvent de type MLP. Le routeur attribue chaque token à quelques experts, puis combine leurs sorties. Les paramètres totaux comptent tous les experts stockés ; les paramètres actifs comptent ceux mobilisés pour un token. Le rapport DeepSeek-V3 annonce 671 milliards de paramètres au total et 37 milliards activés par token. Il publie aussi 61 couches, une dimension cachée de 7 168 et 128 têtes MLA. Ces valeurs décrivent DeepSeek-V3, pas GPT-4.
Mode approfondi
Le routage top-k réalise un calcul conditionnel et requiert des mécanismes de capacité et d’équilibrage pour éviter une concentration sur quelques experts. Le coût actif n’est pas égal au simple nombre d’experts choisis multiplié par une taille isolée : attention, embeddings, routeur, experts partagés et communications contribuent aussi. Le rapport DeepSeek-V3 constitue un cas public utile précisément parce qu’il donne une table d’hyperparamètres ; son attribution doit rester attachée à la version documentée.
Analogie
Une grande clinique emploie de nombreux spécialistes, mais un patient ne consulte qu’une petite équipe. L’annuaire total mesure la capacité, pas le travail de chaque consultation.
Exemple concret
Le nombre 61 correspond aux couches publiées de DeepSeek-V3. Le transférer à GPT-4 parce que les deux sont des LLM serait une erreur d’attribution.
Un routeur envoie le token vers deux experts colorés sur huit, puis leurs flèches se rejoignent ; six experts restent grisés.
Activité manipulable
Confusion fréquente
Comparer seulement les paramètres totaux d’un MoE aux paramètres denses d’un autre modèle ignore le calcul actif, le routage et les conditions de mesure.
Vérification rapide
Pourquoi faut-il publier les paramètres actifs avec les paramètres totaux ?
Les paramètres totaux décrivent la capacité stockée ; les actifs donnent une indication du sous-réseau mobilisé par token et donc d’une partie du coût.
Résumé
- Le routeur active peu d’experts à la fois.
- Capacité totale et calcul actif sont deux mesures.
- Les chiffres DeepSeek-V3 ne doivent pas migrer vers un modèle propriétaire.