Scalaire, vecteur, matrice et tenseur
Situation concrète
Les mots « vecteur » et « tenseur » semblent abstraits, mais ils décrivent surtout comment des nombres sont organisés et indexés.
Objectifs d’apprentissage
- Distinguer quatre rangs d’objets numériques
- Associer chaque forme à un exemple de modèle de langage
Prérequis
- Leçon 10.1
Mode simple
Un scalaire est un seul nombre, comme une température. Un vecteur est une liste ordonnée, comme l’embedding d’un token. Une matrice organise des nombres en lignes et colonnes, comme une table de poids ou une séquence de vecteurs. Un tenseur généralise à davantage d’axes : un batch peut ajouter un axe d’exemples à l’axe des positions et à celui des dimensions. Le nom ne dit pas à lui seul ce que les nombres signifient ; il faut aussi connaître la forme et les étiquettes des axes.
Mode approfondi
Une forme (B, N, D) peut représenter batch, longueur et dimension cachée. Ajouter des têtes conduit souvent à (B, H, N, Dh), puis des permutations rendent les axes compatibles avec le produit QKᵀ. Le rang informatique désigne le nombre d’axes, même si le terme tenseur possède une définition plus riche en mathématiques. Les opérations de diffusion et de reshape peuvent changer la vue sans changer le nombre d’éléments, mais une mauvaise étiquette d’axe produit des erreurs conceptuelles.
Analogie
Un nombre est une case, un vecteur une rangée, une matrice une feuille quadrillée et un tenseur un classeur de plusieurs feuilles organisé par onglets.
Exemple concret
Pour deux phrases de cinq tokens avec une largeur de huit, les états peuvent former un tenseur 2 × 5 × 8 : deux exemples, cinq positions et huit coordonnées.
Un scalaire 1, un vecteur de 4, une matrice 3 par 4 et un tenseur 2 par 3 par 4 sont dessinés et étiquetés.
Activité manipulable
Confusion fréquente
Une dimension cachée de 7 168 décrit la longueur d’un axe de vecteur, pas le nombre d’axes du tenseur et pas le nombre de couches.
Vérification rapide
Quelle forme ajoute un batch de 32 séquences de 100 positions et largeur 512 ?
Un tenseur peut avoir la forme 32 × 100 × 512, avec des axes batch, position et dimension cachée.
Résumé
- La forme organise les nombres par axes.
- Chaque axe doit garder une étiquette.
- Les tenseurs transportent les lots d’états dans le réseau.