AI ProdigiesCours interactifs
Ouvrir la navigation
Module 2 · Leçon 329 min · avance

Dimensions et représentations distribuées

Comprendre la largeur des états, la distribution des caractéristiques et les limites de l’idée qu’un neurone correspondrait à un concept.

Sommaire et raccourcis

Objectifs d’apprentissage

Objectifs de la leçon

  • Distinguer dimension cachée, neurone et caractéristique
  • Expliquer pourquoi la superposition complique l’interprétation

Prérequis

  • Leçon 2.2

Dimensions et représentations distribuées

Situation concrète

Voir 7 168 dans un tableau ne signifie ni 7 168 mots stockés, ni 7 168 couches. Ce nombre décrit une largeur de représentation propre à l’architecture publiée.

Objectifs d’apprentissage

  • Distinguer dimension cachée, neurone et caractéristique
  • Expliquer pourquoi la superposition complique l’interprétation

Prérequis

  • Leçon 2.2

Mode simple

Un état caché est une longue rangée de nombres. Chaque case est une dimension, mais une case ne porte pas nécessairement une idée facile à nommer. Le réseau peut répartir une caractéristique sur plusieurs directions et réutiliser les mêmes dimensions pour plusieurs caractéristiques. C’est la superposition. Elle aide à stocker beaucoup de régularités, mais rend l’intérieur du modèle plus difficile à expliquer avec une étiquette par neurone.

Mode approfondi

La dimension du résidu fixe l’espace dans lequel circulent les états principaux. Les activations y représentent des combinaisons de directions apprises, et l’interprétabilité mécaniste cherche parfois une base plus parcimonieuse que les coordonnées natives. Les modèles jouets de superposition montrent qu’un réseau peut préférer des représentations non orthogonales lorsque les caractéristiques sont nombreuses et rarement actives ensemble. Une caractéristique extraite par dictionnaire n’est donc pas identique à un neurone matériel unique.

Analogie

Dans un accord musical, plusieurs notes portent ensemble une couleur sonore ; une touche seule ne contient pas tout le concept de « tension » ou de « repos ».

Exemple concret

Le nombre 7 168 est documenté comme dimension cachée de DeepSeek-V3. Il ne doit être transformé ni en nombre de têtes, ni en quantité de concepts compris.

Caractéristiques partagées — Une matrice relie plusieurs caractéristiques à plusieurs dimensions avec des intensités réparties plutôt qu’une diagonale parfaite.

Chaque ligne de caractéristique colore plusieurs colonnes de dimensions, et chaque colonne contribue à plusieurs lignes.

Activité manipulable

Manipulez l’activité « tensor-workshop », validez votre réponse puis expliquez ce que le résultat démontre et ce qu’il ne démontre pas.

Confusion fréquente

Une activation corrélée à un concept dans quelques exemples ne prouve pas qu’elle représente uniquement ce concept dans tous les contextes.

Vérification rapide

Quelle différence y a-t-il entre dimension cachée et nombre de couches ?

La dimension cachée est la largeur d’un vecteur à une position. Le nombre de couches indique combien de blocs successifs transforment ces vecteurs.

Résumé

  • La largeur décrit un espace de représentation.
  • Les caractéristiques sont souvent distribuées et superposées.
  • Un nombre d’architecture doit garder son étiquette exacte.

Mots du glossaire

Sources

Vue matrix

Caractéristiques partagées

Une matrice relie plusieurs caractéristiques à plusieurs dimensions avec des intensités réparties plutôt qu’une diagonale parfaite.

Notions associées

  1. dimension cachée
  2. superposition
  3. caractéristique

Description de la figure

Chaque ligne de caractéristique colore plusieurs colonnes de dimensions, et chaque colonne contribue à plusieurs lignes.

Manipuler pour comprendre

Activité interactive

Activité interactive

0/4 structures validées

Du nombre unique à la pile de grilles

Explorez chaque structure, modifiez ses valeurs, puis indiquez combien d’axes sont nécessaires pour repérer une valeur.

Atelier accessible pour manipuler un scalaire, un vecteur, une matrice et un tenseur d’ordre trois, avec définitions correctes, analogies et validation du nombre d’axes.

Structure active

Scalaire

Définition
Une valeur numérique unique, sans axe ni collection de composantes.
Analogie
Comme la température affichée par un thermomètre : une seule mesure suffit.

Modifiez les nombres avec le clavier ou les contrôles des champs

Combien d’axes cette représentation possède-t-elle ?

Navigation clavier : Tab passe entre les structures, les cellules et les réponses ; les champs numériques acceptent les flèches haut et bas.

Vérification rapide

Quelles propositions décrivent la superposition ?

À garder sous la main

Mots du glossaire

Ouvrir tout le glossaire →
Activation

Nombre temporaire calculé pendant une réponse, comme une lumière qui s’allume le temps d’un calcul.

Une activation est la valeur intermédiaire produite par une couche pour une entrée donnée ; elle disparaît du chemin de calcul après l’inférence et ne doit pas être confondue avec un poids appris.

Voir les liens associés
Dimension cachée

Nombre de coordonnées utilisées dans la représentation interne d’un token.

La dimension cachée fixe la largeur principale des états du Transformer ; elle ne doit pas être confondue avec le nombre de couches, de têtes ou de paramètres.

Voir les liens associés
Hidden state

Représentation interne d’un token après une ou plusieurs transformations.

L’état caché est un vecteur contextuel par position ; il évolue à chaque bloc sous l’effet de l’attention, du réseau feed-forward et des connexions résiduelles.

Voir les liens associés
Superposition

Situation où plusieurs caractéristiques partagent les mêmes dimensions internes.

La superposition permet à un réseau de représenter davantage de caractéristiques que ses axes directement lisibles, ce qui complique l’interprétation neurone par neurone.

Voir les liens associés
RSources de la leçon3 références, avec portée et date de vérification
  1. R7Source primaireVérifiée le 2026-07-18

    DeepSeek-AI et al.. DeepSeek-V3 Technical Report (2024, version révisée 2025).

    Source primaire des nombres publics de DeepSeek-V3 : 61 couches, dimension 7 168, 128 têtes MLA, 671B paramètres totaux et 37B actifs.

    Consulter la source dans un nouvel onglet ↗
  2. R18Source primaireVérifiée le 2026-07-18

    Elhage, N. et al.. Toy Models of Superposition (2022).

    Travail sur modèles jouets montrant comment plusieurs caractéristiques peuvent partager des dimensions, sans généralisation automatique à tous les LLM de production.

    Consulter la source dans un nouvel onglet ↗
  3. R19Source primaireVérifiée le 2026-07-18

    Bricken, T. et al.. Towards Monosemanticity: Decomposing Language Models With Dictionary Learning (2023).

    Preuve de concept sur un Transformer d’une couche avec MLP de 512 neurones, utile pour dépasser l’idée naïve d’un neurone égal à un concept sans promettre l’interprétabilité complète des grands modèles.

    Consulter la source dans un nouvel onglet ↗

Relevé de progression

Prêt à fixer cette étape ?

La progression reste enregistrée sur cet appareil, même sans compte.

Cette leçon est en cours.