Les mots techniques,
sans brouillard.

Approfondir

Une activation est la valeur intermédiaire produite par une couche pour une entrée donnée ; elle disparaît du chemin de calcul après l’inférence et ne doit pas être confondue avec un poids appris.

Approfondir

ALiBi ajoute aux scores d’attention un biais linéaire propre à chaque tête et proportionnel à la distance, sans créer d’embedding positionnel appris séparé.

Approfondir

L’alignement combine objectifs, données et évaluations humaines ou synthétiques ; il améliore le comportement observé sans constituer une garantie générale de vérité ou d’innocuité.

Approfondir

L’attention compare requêtes et clés, applique une normalisation aux scores autorisés, puis forme pour chaque position une somme pondérée des valeurs.

Approfondir

Un modèle autorégressif factorise la probabilité d’une séquence en probabilités conditionnelles successives et applique un masque causal pendant l’apprentissage.

Approfondir

La rétropropagation applique la règle de la chaîne au graphe de calcul afin d’obtenir le gradient de la perte par rapport à chaque paramètre entraînable.

Approfondir

Un batch permet de paralléliser les calculs et d’estimer un gradient moyen ; sa taille influence mémoire, bruit d’optimisation et débit d’entraînement.

Approfondir

Byte Pair Encoding fusionne itérativement des paires fréquentes pour obtenir des unités sous-lexicales ; les détails varient selon l’implémentation et le corpus.

Approfondir

Une attention causale applique généralement un masque triangulaire aux scores avant softmax, assurant la factorisation autorégressive pendant l’entraînement parallèle.

Approfondir

Un checkpoint peut contenir paramètres, état de l’optimiseur et compteurs d’étapes afin de reprendre, évaluer ou dériver un modèle depuis un point précis.

Approfondir

Le contexte correspond aux tokens effectivement fournis dans la fenêtre courante, y compris instructions et documents récupérés, et reste distinct des paramètres et d’une mémoire produit persistante.

Approfondir

La dimension cachée fixe la largeur principale des états du Transformer ; elle ne doit pas être confondue avec le nombre de couches, de têtes ou de paramètres.

Approfondir

Direct Preference Optimization reformule l’objectif de préférence en classification contrastive par rapport à un modèle de référence, sans entraîner explicitement un modèle de récompense puis une politique RL.

Approfondir

La table d’embeddings projette un identifiant discret dans un espace continu ; après les couches, l’état dépend aussi des autres tokens et de leur position.

Approfondir

Dans un MoE, un expert est généralement un bloc feed-forward distinct ; le routage épars en sélectionne quelques-uns par token et ajoute des contraintes d’équilibrage de charge.

Approfondir

Le réseau feed-forward applique typiquement deux projections et une non-linéarité à chaque position, avec des variantes d’activation et de largeur selon l’architecture.

Approfondir

La fenêtre inclut les différentes parties du prompt et les tokens générés ; dépasser la limite impose troncature, résumé ou sélection de contenu selon le système.

Approfondir

Le fine-tuning met à jour tout ou partie des paramètres avec des données spécialisées ; il peut viser une tâche, un domaine, des instructions ou des préférences.

Approfondir

Grouped-Query Attention conserve de nombreuses têtes de requête mais réduit le nombre de têtes key-value, offrant un compromis entre qualité de MHA et mémoire d’inférence de MQA.

Approfondir

Le gradient est le vecteur des dérivées partielles de la perte ; l’optimiseur l’utilise, avec son historique éventuel, pour choisir une mise à jour des paramètres.

Approfondir

Le terme couvre plusieurs erreurs factuelles ou de fidélité à une source ; sa détection exige de comparer l’énoncé à une référence, pas seulement son degré d’assurance.

Approfondir

L’état caché est un vecteur contextuel par position ; il évolue à chaque bloc sous l’effet de l’attention, du réseau feed-forward et des connexions résiduelles.

Approfondir

L’inférence exécute une passe avant, souvent répétée token par token en génération, avec des optimisations telles que batching, quantification et cache KV.

Approfondir

Une clé provient d’une projection de l’état caché ; son produit scalaire avec une requête contribue au score d’attention avant masque et softmax.

Approfondir

Le cache KV évite de reprojeter les positions passées à chaque nouveau token, au prix d’une mémoire qui croît avec la longueur, les couches et le nombre de têtes key-value.

Approfondir

Layer Normalization normalise les coordonnées d’un exemple indépendamment du batch, puis applique des paramètres d’échelle et de biais appris.

Approfondir

Un Large Language Model estime des distributions sur des tokens avec un réseau à nombreux paramètres ; le terme ne fixe ni une architecture unique ni un seuil universel de taille.

Approfondir

Les logits sont les sorties non normalisées de la projection vers le vocabulaire ; seules leurs différences influencent la distribution produite par softmax.

Approfondir

Le masque causal remplace les scores interdits par une valeur négative extrême avant softmax, donnant une matrice d’accès triangulaire inférieur.

Approfondir

Multi-head Latent Attention reconstruit les représentations nécessaires depuis des codes latents afin de réduire notamment le coût du cache, selon les choix documentés de l’architecture.

Approfondir

Dans un bloc Transformer, le MLP ou feed-forward élargit souvent la dimension, applique une non-linéarité ou une porte, puis reprojette vers la dimension cachée.

Approfondir

Mixture-of-Experts augmente la capacité paramétrique tout en gardant un calcul conditionnel ; routage, équilibrage et communications ajoutent toutefois leurs propres coûts.

Approfondir

L’attention multi-têtes projette états, requêtes, clés et valeurs dans plusieurs sous-espaces, concatène les sorties puis les combine par une projection.

Approfondir

Les paramètres incluent matrices, vecteurs de biais ou échelles ; ils changent pendant l’entraînement mais restent normalement fixes pendant une inférence ordinaire.

Approfondir

Pour un modèle de langue, la perte est souvent une entropie croisée négative sur le prochain token ; elle guide l’optimisation sans mesurer seule l’utilité globale.

Approfondir

Les poids forment principalement de grandes matrices de projection ; leur précision numérique, leur partage et leur quantification influencent mémoire et calcul.

Approfondir

Le post-entraînement peut combiner SFT, préférences, filtres et évaluations ; il modifie la distribution des réponses mais ne remplace pas la vérification factuelle.

Approfondir

Le préentraînement optimise à grande échelle un objectif tel que la prédiction du prochain token, produisant des représentations et capacités réutilisables.

Approfondir

Le prompt peut contenir instructions, exemples et contexte récupéré ; son effet reste conditionné par la fenêtre disponible, le modèle et les règles de priorité du produit.

Approfondir

La quantification réduit stockage, bande passante et parfois calcul, avec une erreur d’approximation dont l’impact dépend de la granularité et de la calibration.

Approfondir

Une requête est obtenue par projection de l’état courant et comparée aux clés, généralement par produit scalaire mis à l’échelle.

Approfondir

Retrieval-Augmented Generation sépare recherche et génération ; ses résultats dépendent de l’index, du classement, des documents et de la fidélité de la synthèse.

Approfondir

Une connexion résiduelle crée un chemin direct pour l’information et les gradients ; son placement par rapport à la normalisation varie selon les architectures.

Approfondir

Le RLHF classique entraîne un modèle de récompense à partir de comparaisons puis optimise la politique ; il aligne des préférences mesurées sans garantir la vérité.

Approfondir

RMSNorm remet l’échelle d’un vecteur à partir de sa norme quadratique moyenne sans soustraire explicitement sa moyenne, ce qui réduit certaines opérations de LayerNorm.

Approfondir

Rotary Position Embedding applique des rotations dépendantes de la position par paires de dimensions, faisant apparaître la distance relative dans les produits scalaires.

Approfondir

Le routeur calcule des scores, retient généralement un petit top-k et doit gérer capacité et équilibrage pour éviter de surcharger quelques experts.

Approfondir

L’échantillonnage peut être combiné avec température, top-k ou top-p ; il introduit de la diversité sans changer les connaissances inscrites dans les poids.

Approfondir

Supervised Fine-Tuning optimise directement la vraisemblance de démonstrations choisies et sert souvent de première étape du post-entraînement instructionnel.

Approfondir

Softmax exponentie les scores relatifs puis normalise leur somme ; elle sert dans l’attention et dans la distribution de sortie, avec des rôles distincts.

Approfondir

La superposition permet à un réseau de représenter davantage de caractéristiques que ses axes directement lisibles, ce qui complique l’interprétation neurone par neurone.

Approfondir

Diviser les logits par une température positive avant softmax modifie leur contraste : une valeur basse concentre, une valeur haute diversifie.

Approfondir

Le token est un identifiant dans un vocabulaire propre au tokenizer ; sa frontière dépend de l’encodage, de la langue et du modèle considéré.

Approfondir

Un tokenizer définit normalisation, algorithme de segmentation, vocabulaire et tokens spéciaux ; deux modèles peuvent découper la même chaîne différemment.

Approfondir

Le nucleus sampling trie les probabilités puis limite le tirage au préfixe cumulatif atteignant p, ce qui adapte le nombre de candidats à la distribution.

Approfondir

Le Transformer original combine attention, réseaux feed-forward, positions, résidus et normalisation ; les LLM modernes en utilisent de nombreuses variantes.

Approfondir

Une valeur provient d’une projection de l’état caché ; la sortie d’attention est une combinaison pondérée des valeurs autorisées pour chaque requête.

Approfondir

Le vocabulaire associe chaque unité à un identifiant et fixe la taille de plusieurs matrices, sans contenir à lui seul les significations contextuelles apprises.

Approfondir

La projection finale produit un logit par entrée du vocabulaire, souvent avec des poids liés à la table d’embeddings selon l’architecture.