Produit matriciel, non-linéarité et dimensions
Situation concrète
La majorité des transformations d’un LLM réutilisent une opération simple à décrire : multiplier des entrées par une matrice de poids, puis appliquer d’autres opérations.
Objectifs d’apprentissage
- Calculer une case d’un produit matriciel
- Vérifier la compatibilité des dimensions et le rôle d’une non-linéarité
Prérequis
- Leçon 10.2
Mode simple
Pour calculer une case du résultat, prenez une ligne de la première matrice et une colonne de la seconde. Multipliez les nombres face à face puis additionnez. Une matrice n × d multipliée par une matrice d × k produit une matrice n × k : les dimensions intérieures doivent correspondre. Si l’on empilait seulement des transformations linéaires, elles pourraient se réduire à une seule. Les fonctions non linéaires permettent de construire des relations plus riches entre les couches.
Mode approfondi
Une projection affine Y = XW + b transforme la dernière dimension. Dans l’attention, les matrices WQ, WK et WV produisent des sous-espaces ; dans le MLP, une expansion d → dff, une activation ou une porte, puis une contraction dff → d augmentent la capacité de calcul. ReLU, GELU et SwiGLU ont des propriétés différentes. Une « couche » désigne une étape fonctionnelle ou un bloc selon le contexte, ce qui interdit de comparer des comptes sans définition.
Analogie
Chaque ligne est une recette et chaque colonne un filtre : les produits mesurent les rencontres ingrédient-filtre, puis l’addition forme une nouvelle caractéristique.
Exemple concret
[2, 3] multiplié par la colonne [4, 5] donne 2×4 + 3×5 = 23. La ligne possède deux éléments parce que la colonne en possède deux.
La ligne 2, 3 croise la colonne 4, 5 ; les calculs 8 et 15 convergent vers la case résultat 23.
Activité manipulable
Confusion fréquente
Le nombre de couches ne peut pas être déduit d’une dimension de matrice. Profondeur, largeur, têtes et vocabulaire décrivent des axes différents.
Vérification rapide
Pourquoi les dimensions intérieures doivent-elles être égales ?
Chaque élément d’une ligne doit rencontrer exactement un élément de la colonne. Le nombre de produits terme à terme doit donc coïncider.
Résumé
- Le produit matriciel combine lignes et colonnes.
- Les formes permettent de vérifier une opération.
- Les non-linéarités empêchent une pile de se réduire à une projection unique.