Des logits au choix final
Situation concrète
Le modèle ne livre pas directement un mot certain. Il produit une rangée de scores, puis le système de décodage décide comment convertir cette rangée en prochain token.
Objectifs d’apprentissage
- Distinguer logit, probabilité et token choisi
- Prédire l’effet de la température et du top-p
Prérequis
- Module 4
Mode simple
Un logit est un score brut : il peut être positif ou négatif et sa somme n’a pas besoin de valoir un. Softmax transforme tous les logits en probabilités relatives. Une température basse accentue les écarts et rend les choix plus concentrés ; une température haute rapproche les probabilités et augmente la diversité. Le top-p conserve un groupe de candidats dont la probabilité cumulée atteint un seuil. Enfin, l’échantillonnage tire un token dans le groupe autorisé. Aucun réglage ne rend une information fausse soudainement vraie.
Mode approfondi
Pour une température T positive, la distribution est pᵢ = exp(zᵢ/T) / Σⱼ exp(zⱼ/T), calculée de manière stabilisée en soustrayant le maximum. T tendant vers zéro approche un choix très concentré ; une grande T aplatit la distribution. Le nucleus sampling trie les probabilités et retient le plus petit préfixe cumulatif atteignant p. Des pénalités, contraintes grammaticales ou filtres peuvent encore modifier les logits avant le tirage, selon le produit.
Analogie
Les logits sont les notes brutes d’un jury ; softmax les convertit en parts de préférence, puis la règle de sélection choisit un candidat.
Exemple concret
Avec des scores proches pour « bleu », « vert » et « rouge », augmenter la température donne davantage de chances aux alternatives. Avec un score dominant, l’effet peut rester limité.
Trois histogrammes montrent des barres très concentrées, équilibrées puis aplaties, avec un contour autour des candidats retenus.
Activité manipulable
Confusion fréquente
La température n’ajoute pas de créativité dans les poids et ne vérifie aucune réponse. Elle modifie seulement la distribution utilisée pour le choix.
Vérification rapide
Que se passe-t-il généralement lorsque la température baisse ?
Les écarts entre logits pèsent davantage après softmax, donc la distribution se concentre sur les candidats déjà mieux notés.
Résumé
- Les logits sont des scores non normalisés.
- Softmax produit une distribution relative.
- Température et top-p modifient le choix, pas les connaissances.