Paramètres, activations et contexte
Situation concrète
Une conversation peut changer la réponse suivante sans réentraîner le modèle. Cette observation devient claire dès que l’on sépare ce qui est appris, ce qui est fourni et ce qui est calculé.
Objectifs d’apprentissage
- Distinguer les poids appris des valeurs calculées
- Expliquer ce que le contexte apporte à une réponse précise
Prérequis
- Leçon 1.2
Mode simple
Les paramètres sont les nombres conservés après l’entraînement : ils règlent les transformations. Le contexte est le contenu disponible pour la demande actuelle : consignes, messages et documents inclus. Les activations sont les valeurs temporaires calculées quand ce contexte traverse le réseau. Changer une phrase modifie le contexte et les activations, mais ne modifie pas automatiquement les paramètres. À l’inverse, entraîner le modèle change ses paramètres pour de futurs exemples.
Mode approfondi
Les paramètres forment l’état persistant du modèle déployé, tandis que le tenseur d’états cachés dépend du batch et de la séquence courante. Le contexte influence l’inférence par conditionnement, sans constituer une mise à jour de gradient. Des produits peuvent ajouter une mémoire externe ou enregistrée : elle sera réinjectée comme contexte ou traitée par un autre mécanisme, mais cela ne doit pas être assimilé à une modification instantanée des poids. Cette taxonomie évite d’exagérer ce qu’un modèle « retient ».
Analogie
Dans une cuisine, les paramètres ressemblent au réglage des machines, le contexte aux ingrédients du jour et les activations aux mélanges présents dans les bols pendant la préparation.
Exemple concret
Ajouter « réponds en trois lignes » change immédiatement la forme de la réponse via le contexte. Le réseau n’a pas besoin de réapprendre tous ses poids pour suivre cette consigne.
Trois colonnes décrivent origine, durée et fonction des paramètres, du contexte et des activations.
Activité manipulable
Confusion fréquente
Des activations fortes ne sont pas de nouveaux souvenirs enregistrés. Elles sont des résultats intermédiaires propres à une exécution.
Vérification rapide
Que change directement l’ajout d’un exemple dans le prompt ?
Il change le contexte et donc les activations de cette requête. Sans étape d’entraînement, il ne change pas directement les paramètres du modèle.
Résumé
- Les paramètres sont appris et persistants.
- Le contexte est fourni pour la requête courante.
- Les activations sont calculées et temporaires.