Gradient, rétropropagation et lois d’échelle
Situation concrète
La perte indique qu’une prédiction est mauvaise, mais il reste à déterminer comment chacun des milliards de paramètres a contribué à cette erreur.
Objectifs d’apprentissage
- Relier règle de la chaîne, gradient et mise à jour
- Interpréter les lois d’échelle comme tendances conditionnelles
Prérequis
- Leçon 7.1
Mode simple
La rétropropagation suit le chemin des calculs en sens inverse et calcule un gradient pour chaque poids. Le gradient indique comment une petite variation influencerait la perte. Un optimiseur combine ce signal avec un taux d’apprentissage et met les poids à jour. Répéter ce cycle à grande échelle améliore généralement les prédictions. Mais augmenter seulement le nombre de paramètres ne suffit pas : sans assez de données ou de calcul d’entraînement, la capacité supplémentaire peut être mal utilisée.
Mode approfondi
La différentiation automatique applique la règle de la chaîne au graphe de la passe avant. Des optimiseurs adaptatifs accumulent des moments du gradient, tandis que clipping, planification du taux et précision mixte stabilisent le calcul. Les lois d’échelle de Kaplan relient empiriquement perte et ressources ; l’analyse Chinchilla montre qu’à budget fixé un entraînement plus équilibré entre taille et tokens peut surpasser un modèle plus grand sous-entraîné. Ces relations sont des ajustements expérimentaux avec domaine de validité.
Analogie
Après une recette ratée, le gradient ressemble à une fiche indiquant quel réglage de chaque four ou dosage a poussé le résultat dans la mauvaise direction.
Exemple concret
Deux modèles utilisant le même calcul total peuvent répartir différemment ce budget entre paramètres et tokens d’entraînement. Le plus grand n’est pas automatiquement le mieux entraîné.
Un triangle relie données, taille et calcul ; une courbe marque un point grand mais sous-entraîné et un point équilibré à perte plus basse.
Activité manipulable
Confusion fréquente
Une loi d’échelle n’est pas une promesse qu’un modèle précis sera meilleur sur votre tâche. Architecture, données, évaluation et post-entraînement restent déterminants.
Vérification rapide
Quel rôle joue le gradient ?
Il estime la sensibilité de la perte à chaque paramètre et fournit à l’optimiseur une direction de mise à jour, sans fixer seul la taille du pas.
Résumé
- La rétropropagation calcule les gradients.
- L’optimiseur transforme ces gradients en mises à jour.
- Taille, données et calcul doivent être interprétés ensemble.