AI ProdigiesCours interactifs
Ouvrir la navigation
Module 6 · Leçon 234 min · avance

MHA, MQA, GQA et MLA

Comparer quatre organisations de l’attention en suivant le nombre de requêtes, le partage des clés-valeurs et les compromis d’inférence.

Sommaire et raccourcis

Objectifs d’apprentissage

Objectifs de la leçon

  • Comparer le partage des têtes key-value
  • Expliquer pourquoi MLA ne se réduit pas à un simple groupement

Prérequis

  • Leçon 6.1
  • Leçon 5.3

MHA, MQA, GQA et MLA

Situation concrète

Toutes les attentions multi-têtes ne conservent pas le même nombre de clés et valeurs. Ce détail influence directement la taille du cache et le débit de génération.

Objectifs d’apprentissage

  • Comparer le partage des têtes key-value
  • Expliquer pourquoi MLA ne se réduit pas à un simple groupement

Prérequis

  • Leçon 6.1
  • Leçon 5.3

Mode simple

MHA donne en général ses propres clés et valeurs à chaque tête de requête. MQA garde plusieurs requêtes mais partage une seule paire de têtes key-value. GQA forme plusieurs groupes : les requêtes d’un groupe partagent K et V. MLA, documentée notamment pour DeepSeek-V3, compresse des informations dans des représentations latentes puis reconstruit ce qui est nécessaire. Plus de partage réduit souvent la mémoire, mais chaque méthode possède des compromis de qualité, de calcul et d’implémentation.

Mode approfondi

Si hq désigne les têtes de requête et hkv les têtes key-value, MHA utilise typiquement hkv = hq, MQA hkv = 1 et GQA 1 < hkv < hq. Cela réduit l’empreinte du cache proportionnellement à hkv. MLA introduit des projections de réduction de rang et doit être lu dans le rapport de l’architecture qui le spécifie ; l’assimiler à GQA efface sa compression latente et ses composantes positionnelles particulières.

Analogie

Plusieurs chercheurs peuvent avoir chacun leurs archives, partager une archive commune ou travailler par équipes ; une bibliothèque compressée ajoute encore une opération de codage et de reconstruction.

Exemple concret

Avec huit requêtes, MHA peut conserver huit ensembles K/V, MQA un seul et GQA par exemple deux ou quatre. Ce dessin pédagogique ne fixe pas les valeurs d’un modèle réel.

Qui partage quelles clés et valeurs ? — Quatre colonnes relient têtes de requête, groupes de clés-valeurs, représentation latente et mémoire relative.

MHA montre une paire par requête, MQA une paire commune, GQA plusieurs groupes, MLA une capsule latente avec reconstruction.

Activité manipulable

Manipulez l’activité « attention-architecture-comparator », validez votre réponse puis expliquez ce que le résultat démontre et ce qu’il ne démontre pas.

Confusion fréquente

Une variante plus économe n’est pas automatiquement meilleure dans toutes les tâches. Les résultats dépendent de l’entraînement, de la taille et de l’implémentation.

Vérification rapide

Quel paramètre structurel explique la baisse du cache entre MHA et GQA ?

Le nombre de têtes key-value devient inférieur au nombre de têtes de requête, car plusieurs requêtes partagent les mêmes K et V.

Résumé

  • MHA sépare davantage les têtes K/V.
  • MQA et GQA augmentent le partage.
  • MLA ajoute une compression latente propre à sa conception.

Mots du glossaire

Sources

Vue comparison

Qui partage quelles clés et valeurs ?

Quatre colonnes relient têtes de requête, groupes de clés-valeurs, représentation latente et mémoire relative.

Notions associées

  1. MHA
  2. MQA
  3. GQA
  4. MLA

Description de la figure

MHA montre une paire par requête, MQA une paire commune, GQA plusieurs groupes, MLA une capsule latente avec reconstruction.

Manipuler pour comprendre

Activité interactive

Activité interactive

Comparaison conceptuelle simplifiée

Comparateur MHA, MQA, GQA et MLA

Explore les quatre familles, puis retrouve l’architecture qui regroupe les têtes de requête autour de plusieurs ensembles K/V.

Un tableau compare requêtes, clés, valeurs, regroupement, mémoire relative et compromis des architectures d’attention.

Requêtes : Une par tête

Clés : Une par tête

Valeurs : Une par tête

Groupes : Chaque tête a son groupe K/V

Mémoire relative : Élevée

Compromis : Grande flexibilité, cache KV plus volumineux.

Résumé pédagogique : les performances réelles dépendent de l’implémentation, de l’entraînement et du matériel.
TypeOrganisation K/VMémoireCompromis
MHAChaque tête a son groupe K/VÉlevéeGrande flexibilité, cache KV plus volumineux.
MQAUn seul groupe K/VTrès faibleCache compact, partage K/V pouvant réduire la capacité selon le modèle.
GQAPlusieurs têtes Q partagent K/VIntermédiaireCompromis courant entre capacité et coût du cache.
MLAPartage par espace latent, pas un simple GQAFaible dans les implémentations publiéesRéduit le cache via compression latente, avec une architecture et des calculs plus complexes.
Quelle architecture partage K/V par groupes de têtes Q ?

Vérification rapide

GQA utilise généralement moins de têtes key-value que de têtes de requête.

À garder sous la main

Mots du glossaire

Ouvrir tout le glossaire →
GQA

Attention où plusieurs têtes de requête partagent les mêmes clés et valeurs par groupes.

Grouped-Query Attention conserve de nombreuses têtes de requête mais réduit le nombre de têtes key-value, offrant un compromis entre qualité de MHA et mémoire d’inférence de MQA.

Voir les liens associés
KV cache

Mémoire temporaire des clés et valeurs déjà calculées pendant une génération.

Le cache KV évite de reprojeter les positions passées à chaque nouveau token, au prix d’une mémoire qui croît avec la longueur, les couches et le nombre de têtes key-value.

Voir les liens associés
MLA

Variante d’attention multi-têtes qui compresse des informations de clés et valeurs dans un espace latent.

Multi-head Latent Attention reconstruit les représentations nécessaires depuis des codes latents afin de réduire notamment le coût du cache, selon les choix documentés de l’architecture.

Voir les liens associés
Multi-head

Organisation de plusieurs calculs d’attention en parallèle.

L’attention multi-têtes projette états, requêtes, clés et valeurs dans plusieurs sous-espaces, concatène les sorties puis les combine par une projection.

Voir les liens associés
RSources de la leçon3 références, avec portée et date de vérification
  1. R1Source primaireVérifiée le 2026-07-18

    Vaswani, A. et al.. Attention Is All You Need (2017).

    Texte fondateur pour l’attention multi-têtes, les positions, le bloc feed-forward et la complexité du Transformer.

    Consulter la source dans un nouvel onglet ↗
  2. R7Source primaireVérifiée le 2026-07-18

    DeepSeek-AI et al.. DeepSeek-V3 Technical Report (2024, version révisée 2025).

    Source primaire des nombres publics de DeepSeek-V3 : 61 couches, dimension 7 168, 128 têtes MLA, 671B paramètres totaux et 37B actifs.

    Consulter la source dans un nouvel onglet ↗
  3. R13Source primaireVérifiée le 2026-07-18

    Ainslie, J. et al.. GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints (2023).

    Référence pour le partage groupé des clés et valeurs, destiné à réduire le cache et accélérer l’inférence.

    Consulter la source dans un nouvel onglet ↗

Relevé de progression

Prêt à fixer cette étape ?

La progression reste enregistrée sur cet appareil, même sans compte.

Cette leçon est en cours.