Les mots techniques,
sans brouillard.

Nombre temporaire calculé pendant une réponse, comme une lumière qui s’allume le temps d’un calcul.

Une activation est la valeur intermédiaire produite par une couche pour une entrée donnée ; elle disparaît du chemin de calcul après l’inférence et ne doit pas être confondue avec un poids appris.

Méthode qui ajoute dans l’attention un malus lorsque deux tokens sont éloignés.

ALiBi ajoute aux scores d’attention un biais linéaire propre à chaque tête et proportionnel à la distance, sans créer d’embedding positionnel appris séparé.

Ensemble de méthodes qui orientent le comportement d’un modèle vers des réponses plus utiles et plus sûres.

L’alignement combine objectifs, données et évaluations humaines ou synthétiques ; il améliore le comportement observé sans constituer une garantie générale de vérité ou d’innocuité.

Calcul qui mesure quels tokens sont utiles pour mettre à jour la représentation d’un autre token.

L’attention compare requêtes et clés, applique une normalisation aux scores autorisés, puis forme pour chaque position une somme pondérée des valeurs.

Qui produit la suite une unité après l’autre en utilisant les unités déjà présentes.

Un modèle autorégressif factorise la probabilité d’une séquence en probabilités conditionnelles successives et applique un masque causal pendant l’apprentissage.

Méthode qui fait remonter l’erreur pour savoir comment corriger les poids.

La rétropropagation applique la règle de la chaîne au graphe de calcul afin d’obtenir le gradient de la perte par rapport à chaque paramètre entraînable.

Groupe d’exemples traité ensemble pendant une étape d’entraînement.

Un batch permet de paralléliser les calculs et d’estimer un gradient moyen ; sa taille influence mémoire, bruit d’optimisation et débit d’entraînement.

Famille de méthodes qui construit un vocabulaire à partir de fragments de texte fréquents.

Byte Pair Encoding fusionne itérativement des paires fréquentes pour obtenir des unités sous-lexicales ; les détails varient selon l’implémentation et le corpus.

Qui empêche une prédiction d’utiliser les tokens placés dans son futur.

Une attention causale applique généralement un masque triangulaire aux scores avant softmax, assurant la factorisation autorégressive pendant l’entraînement parallèle.

Copie sauvegardée des poids et états utiles à un moment de l’entraînement.

Un checkpoint peut contenir paramètres, état de l’optimiseur et compteurs d’étapes afin de reprendre, évaluer ou dériver un modèle depuis un point précis.

Informations disponibles pour calculer la réponse actuelle.

Le contexte correspond aux tokens effectivement fournis dans la fenêtre courante, y compris instructions et documents récupérés, et reste distinct des paramètres et d’une mémoire produit persistante.

Nombre de coordonnées utilisées dans la représentation interne d’un token.

La dimension cachée fixe la largeur principale des états du Transformer ; elle ne doit pas être confondue avec le nombre de couches, de têtes ou de paramètres.

Méthode qui apprend directement à préférer certaines réponses à d’autres.

Direct Preference Optimization reformule l’objectif de préférence en classification contrastive par rapport à un modèle de référence, sans entraîner explicitement un modèle de récompense puis une politique RL.

Vecteur initial associé à un token avant les transformations contextuelles.

La table d’embeddings projette un identifiant discret dans un espace continu ; après les couches, l’état dépend aussi des autres tokens et de leur position.

Sous-réseau spécialisé qu’un routeur peut activer dans une couche MoE.

Dans un MoE, un expert est généralement un bloc feed-forward distinct ; le routage épars en sélectionne quelques-uns par token et ajoute des contraintes d’équilibrage de charge.

Bloc qui transforme séparément chaque position après l’échange d’informations par attention.

Le réseau feed-forward applique typiquement deux projections et une non-linéarité à chaque position, avec des variantes d’activation et de largeur selon l’architecture.

Nombre maximal de tokens disponibles ensemble pour calculer une réponse.

La fenêtre inclut les différentes parties du prompt et les tokens générés ; dépasser la limite impose troncature, résumé ou sélection de contenu selon le système.

Entraînement supplémentaire d’un modèle déjà préentraîné sur un objectif plus ciblé.

Le fine-tuning met à jour tout ou partie des paramètres avec des données spécialisées ; il peut viser une tâche, un domaine, des instructions ou des préférences.

Attention où plusieurs têtes de requête partagent les mêmes clés et valeurs par groupes.

Grouped-Query Attention conserve de nombreuses têtes de requête mais réduit le nombre de têtes key-value, offrant un compromis entre qualité de MHA et mémoire d’inférence de MQA.

Indication de la direction dans laquelle chaque poids influence l’erreur.

Le gradient est le vecteur des dérivées partielles de la perte ; l’optimiseur l’utilise, avec son historique éventuel, pour choisir une mise à jour des paramètres.

Réponse plausible mais fausse, inventée ou insuffisamment soutenue.

Le terme couvre plusieurs erreurs factuelles ou de fidélité à une source ; sa détection exige de comparer l’énoncé à une référence, pas seulement son degré d’assurance.

Représentation interne d’un token après une ou plusieurs transformations.

L’état caché est un vecteur contextuel par position ; il évolue à chaque bloc sous l’effet de l’attention, du réseau feed-forward et des connexions résiduelles.

Moment où un modèle utilise ses poids pour produire une sortie sans les entraîner.

L’inférence exécute une passe avant, souvent répétée token par token en génération, avec des optimisations telles que batching, quantification et cache KV.

Vecteur comparé à une requête pour mesurer la pertinence d’une position.

Une clé provient d’une projection de l’état caché ; son produit scalaire avec une requête contribue au score d’attention avant masque et softmax.

Mémoire temporaire des clés et valeurs déjà calculées pendant une génération.

Le cache KV évite de reprojeter les positions passées à chaque nouveau token, au prix d’une mémoire qui croît avec la longueur, les couches et le nombre de têtes key-value.

Méthode qui recentre et remet à l’échelle les activations d’une position.

Layer Normalization normalise les coordonnées d’un exemple indépendamment du batch, puis applique des paramètres d’échelle et de biais appris.

Grand modèle de langage entraîné sur beaucoup de séquences textuelles.

Un Large Language Model estime des distributions sur des tokens avec un réseau à nombreux paramètres ; le terme ne fixe ni une architecture unique ni un seuil universel de taille.

Score brut attribué à un token avant sa conversion en probabilité.

Les logits sont les sorties non normalisées de la projection vers le vocabulaire ; seules leurs différences influencent la distribution produite par softmax.

Règle qui bloque les positions futures pendant une prédiction autorégressive.

Le masque causal remplace les scores interdits par une valeur négative extrême avant softmax, donnant une matrice d’accès triangulaire inférieur.

Variante d’attention multi-têtes qui compresse des informations de clés et valeurs dans un espace latent.

Multi-head Latent Attention reconstruit les représentations nécessaires depuis des codes latents afin de réduire notamment le coût du cache, selon les choix documentés de l’architecture.

Petit réseau interne qui transforme chaque vecteur indépendamment des autres positions.

Dans un bloc Transformer, le MLP ou feed-forward élargit souvent la dimension, applique une non-linéarité ou une porte, puis reprojette vers la dimension cachée.

Modèle ou couche avec plusieurs experts dont seulement quelques-uns sont activés pour un token.

Mixture-of-Experts augmente la capacité paramétrique tout en gardant un calcul conditionnel ; routage, équilibrage et communications ajoutent toutefois leurs propres coûts.

Organisation de plusieurs calculs d’attention en parallèle.

L’attention multi-têtes projette états, requêtes, clés et valeurs dans plusieurs sous-espaces, concatène les sorties puis les combine par une projection.

Nombre appris et conservé qui règle les transformations du modèle.

Les paramètres incluent matrices, vecteurs de biais ou échelles ; ils changent pendant l’entraînement mais restent normalement fixes pendant une inférence ordinaire.

Mesure numérique de l’écart entre la prédiction et la cible d’entraînement.

Pour un modèle de langue, la perte est souvent une entropie croisée négative sur le prochain token ; elle guide l’optimisation sans mesurer seule l’utilité globale.

Paramètre appris qui détermine comment une valeur en influence une autre.

Les poids forment principalement de grandes matrices de projection ; leur précision numérique, leur partage et leur quantification influencent mémoire et calcul.

Étapes après le préentraînement qui orientent le comportement du modèle.

Le post-entraînement peut combiner SFT, préférences, filtres et évaluations ; il modifie la distribution des réponses mais ne remplace pas la vérification factuelle.

Grande phase d’apprentissage général sur de nombreuses séquences.

Le préentraînement optimise à grande échelle un objectif tel que la prédiction du prochain token, produisant des représentations et capacités réutilisables.

Texte, données et consignes fournis au système pour une tâche.

Le prompt peut contenir instructions, exemples et contexte récupéré ; son effet reste conditionné par la fenêtre disponible, le modèle et les règles de priorité du produit.

Technique qui représente les poids ou activations avec moins de bits.

La quantification réduit stockage, bande passante et parfois calcul, avec une erreur d’approximation dont l’impact dépend de la granularité et de la calibration.

Vecteur qui représente ce qu’une position cherche chez les autres positions.

Une requête est obtenue par projection de l’état courant et comparée aux clés, généralement par produit scalaire mis à l’échelle.

Méthode qui récupère des documents puis les ajoute au contexte avant de générer.

Retrieval-Augmented Generation sépare recherche et génération ; ses résultats dépendent de l’index, du classement, des documents et de la fidélité de la synthèse.

Connexion qui ajoute l’entrée d’une sous-couche à sa transformation.

Une connexion résiduelle crée un chemin direct pour l’information et les gradients ; son placement par rapport à la normalisation varie selon les architectures.

Méthodes qui utilisent des préférences humaines pour orienter les réponses.

Le RLHF classique entraîne un modèle de récompense à partir de comparaisons puis optimise la politique ; il aligne des préférences mesurées sans garantir la vérité.

Normalisation fondée sur la racine de la moyenne des carrés.

RMSNorm remet l’échelle d’un vecteur à partir de sa norme quadratique moyenne sans soustraire explicitement sa moyenne, ce qui réduit certaines opérations de LayerNorm.

Méthode qui encode la position en faisant tourner les requêtes et les clés.

Rotary Position Embedding applique des rotations dépendantes de la position par paires de dimensions, faisant apparaître la distance relative dans les produits scalaires.

Partie d’un MoE qui choisit les experts sollicités pour chaque token.

Le routeur calcule des scores, retient généralement un petit top-k et doit gérer capacité et équilibrage pour éviter de surcharger quelques experts.

Choix du prochain token en tirant dans une distribution plutôt qu’en prenant toujours le premier.

L’échantillonnage peut être combiné avec température, top-k ou top-p ; il introduit de la diversité sans changer les connaissances inscrites dans les poids.

Fine-tuning supervisé sur des exemples de réponses attendues.

Supervised Fine-Tuning optimise directement la vraisemblance de démonstrations choisies et sert souvent de première étape du post-entraînement instructionnel.

Fonction qui transforme une liste de scores en poids positifs dont la somme vaut un.

Softmax exponentie les scores relatifs puis normalise leur somme ; elle sert dans l’attention et dans la distribution de sortie, avec des rôles distincts.

Situation où plusieurs caractéristiques partagent les mêmes dimensions internes.

La superposition permet à un réseau de représenter davantage de caractéristiques que ses axes directement lisibles, ce qui complique l’interprétation neurone par neurone.

Réglage qui aplatit ou concentre la distribution des choix possibles.

Diviser les logits par une température positive avant softmax modifie leur contraste : une valeur basse concentre, une valeur haute diversifie.

Unité de texte manipulée par le modèle, parfois mot, fragment, signe ou espace.

Le token est un identifiant dans un vocabulaire propre au tokenizer ; sa frontière dépend de l’encodage, de la langue et du modèle considéré.

Outil qui transforme le texte en identifiants de tokens et effectue l’opération inverse.

Un tokenizer définit normalisation, algorithme de segmentation, vocabulaire et tokens spéciaux ; deux modèles peuvent découper la même chaîne différemment.

Décodage qui conserve le plus petit groupe de tokens couvrant une masse de probabilité donnée.

Le nucleus sampling trie les probabilités puis limite le tirage au préfixe cumulatif atteignant p, ce qui adapte le nombre de candidats à la distribution.

Architecture qui traite les relations entre positions grâce à l’attention et à des blocs répétés.

Le Transformer original combine attention, réseaux feed-forward, positions, résidus et normalisation ; les LLM modernes en utilisent de nombreuses variantes.

Vecteur d’information mélangé selon les poids calculés par l’attention.

Une valeur provient d’une projection de l’état caché ; la sortie d’attention est une combinaison pondérée des valeurs autorisées pour chaque requête.

Liste finie des tokens que le tokenizer et le modèle savent coder.

Le vocabulaire associe chaque unité à un identifiant et fixe la taille de plusieurs matrices, sans contenir à lui seul les significations contextuelles apprises.

Ensemble des tokens auxquels le modèle attribue un score pour choisir la suite.

La projection finale produit un logit par entrée du vocabulaire, souvent avec des poids liés à la table d’embeddings selon l’architecture.