Embeddings et proximités
Situation concrète
Un identifiant comme 4 217 ne dit rien par lui-même sur un token. Le modèle le remplace par une longue liste de coordonnées qui peut participer à de nombreux calculs.
Objectifs d’apprentissage
- Expliquer le rôle de la table d’embeddings
- Interpréter avec prudence une carte de proximité en deux dimensions
Prérequis
- Leçon 2.1
Mode simple
Un embedding est une fiche de nombres associée à un token. Pendant l’entraînement, les fiches sont ajustées avec le reste du modèle. Des unités utilisées dans des situations proches développent souvent des relations mesurables, ce qui autorise des cartes pédagogiques. Mais la vraie fiche possède beaucoup plus de deux dimensions, et le sens final d’un token change après avoir rencontré son contexte dans les couches.
Mode approfondi
La table d’embeddings est une matrice indexée par les identifiants du vocabulaire. Une ligne fournit le vecteur d’entrée, éventuellement combiné à une information de position. La géométrie encode des régularités distribuées, sans garantir qu’une distance unique capture toutes les relations sémantiques. Une projection 2D déforme inévitablement certaines distances ; les états contextuels des couches supérieures ne se réduisent pas non plus à cette table statique.
Analogie
Une fiche de bibliothèque possède plusieurs rubriques : sujet, époque, style et public. Deux livres peuvent être proches sur une rubrique et éloignés sur une autre.
Exemple concret
« chat » et « chien » peuvent partager des contextes liés aux animaux, tandis que « chat » au sens de conversation en ligne exige le contexte pour désambiguïser l’usage.
Des points de concepts sont regroupés sur un plan ; une note précise que le plan simplifie un espace de grande dimension.
Activité manipulable
Confusion fréquente
Un point proche sur une carte 2D ne démontre pas que deux mots ont le même sens. La métrique, la projection et le contexte comptent.
Vérification rapide
Pourquoi l’embedding initial ne suffit-il pas à représenter le sens dans une phrase ?
Il est associé au token avant le contexte. Les couches suivantes produisent un état caché qui dépend des autres positions et de leur ordre.
Résumé
- L’embedding transforme un identifiant en vecteur.
- La proximité reflète des régularités, pas des définitions fixes.
- Une carte 2D perd une partie de la géométrie réelle.