Affirmation 1
Le Transformer de 2017 remplace la récurrence par une architecture fondée sur l’attention.
Chercher · comparer · qualifier
Une réponse n’est pas une preuve.
Voici comment les distinguer.
Utilisez l’index pour retrouver une notion, puis le laboratoire pour tester la portée d’une affirmation. Le bon verdict n’est pas toujours « vrai » ou « faux » : parfois, l’information n’est simplement pas publique.
Index du cours
Que voulez-vous éclaircir ?
Explorez les cours, modules, leçons, concepts, définitions et références depuis un même index.
Ctrl K
12 résultats à découvrir
Raccourci : /- Comprendre les LLM, de la phrase à la preuveCoursUn cours de recherche complet pour suivre une phrase dans un Transformer, comprendre comment un modèle apprend et vérifier avec méthode ce que les architectures publiques permettent réellement d’affirmer.13 modules · 22 h
- S’orienter dans le coursModulesApprendre à choisir son niveau de lecture, enquêter avec méthode et qualifier une preuve avant d’étudier les mécanismes.Module 0 · Comprendre les LLM, de la phrase à la preuve
- Ce que fait réellement un modèle de langageModulesPoser les distinctions fondatrices entre texte, calcul, prédiction, paramètres, activations et contexte.Module 1 · Comprendre les LLM, de la phrase à la preuve
- Tokens, nombres et représentationsModulesSuivre la transformation du texte en unités puis en vecteurs, sans prendre les cartes simplifiées pour le mécanisme complet.Module 2 · Comprendre les LLM, de la phrase à la preuve
- Le voyage complet d’une phraseModulesParcourir toute la chaîne de calcul, de la tokenisation à la répétition autorégressive qui construit une réponse.Module 3 · Comprendre les LLM, de la phrase à la preuve
- Le Transformer et l’attentionModulesOuvrir un bloc Transformer et comprendre attention, QKV, masque causal, têtes, résidus, normalisation et MLP.Module 4 · Comprendre les LLM, de la phrase à la preuve
- Génération, contexte et performanceModulesRelier les choix de décodage à la variabilité des réponses, puis mesurer les coûts du contexte et l’apport du cache KV.Module 5 · Comprendre les LLM, de la phrase à la preuve
- Architectures modernesModulesComparer les familles et variantes d’attention, puis lire les nombres publiés d’un modèle MoE sans les attribuer à un autre.Module 6 · Comprendre les LLM, de la phrase à la preuve
- Comment les modèles apprennentModulesComprendre la perte, les gradients et le préentraînement, puis replacer les méthodes de post-entraînement dans leurs vraies limites.Module 7 · Comprendre les LLM, de la phrase à la preuve
- Mémoire, contexte et personnalisationModulesSéparer cinq catégories souvent confondues et prendre des décisions prudentes sur les données et les réglages.Module 8 · Comprendre les LLM, de la phrase à la preuve
- Hallucinations, raisonnement et limitesModulesComprendre pourquoi la plausibilité ne garantit pas la vérité et choisir les bons outils pour contrôler une réponse.Module 9 · Comprendre les LLM, de la phrase à la preuve
- Histoire et bases mathématiquesModulesRelier la généalogie des modèles de langue aux objets mathématiques indispensables pour lire un schéma d’architecture.Module 10 · Comprendre les LLM, de la phrase à la preuve
- 01
Définir l’affirmation
Isoler les mots précis, les nombres et la portée temporelle.
- 02
Remonter à l’origine
Chercher le rapport, l’article ou la documentation qui publie réellement l’information.
- 03
Lire la portée
Distinguer ce que la source mesure, annonce, suppose ou ne divulgue pas.
- 04
Qualifier le verdict
Choisir confirmé, simplifié, trompeur, faux ou non public sans forcer la certitude.
À vous de trancher
Laboratoire de vérification
Attribuez un verdict, puis confrontez votre choix à la portée exacte d’une source primaire.
Dossiers documentés
Les 8 études de cas du cours
Non public pour GPT-4CAS 01GPT-4 a 61 couches
Ouvrir le dossier +
Méthode appliquée
Chercher d’abord le rapport technique officiel de GPT-4 et vérifier s’il publie l’architecture détaillée avant de comparer ce nombre à un autre modèle.
Conclusion
Le rapport public ne donne ni le nombre de couches ni la taille exacte. Présenter 61 comme un fait établi sur GPT-4 est donc injustifié.
Confirmé pour DeepSeek-V3CAS 02DeepSeek-V3 a une dimension cachée de 7 168
Ouvrir le dossier +
Méthode appliquée
Ouvrir le tableau d’hyperparamètres du rapport DeepSeek-V3 et vérifier l’étiquette exacte de la valeur avant toute réutilisation.
Conclusion
Le rapport publie bien une dimension cachée de 7 168 pour DeepSeek-V3 ; ce chiffre ne décrit pas automatiquement un autre modèle.
Faux ou trop simplifiéCAS 03Un token est un mot
Ouvrir le dossier +
Méthode appliquée
Comparer l’affirmation à la documentation d’un tokenizer et chercher des exemples de mots scindés, signes, espaces ou caractères isolés.
Conclusion
Un token est une unité du vocabulaire choisi. Il peut correspondre à un mot, un fragment, un signe ou un espace selon l’encodage.
Faux comme règle généraleCAS 04Le modèle se souvient de tout ce que je dis
Ouvrir le dossier +
Méthode appliquée
Séparer la fenêtre de contexte, la mémoire enregistrée, l’historique du compte, les données d’entraînement et les sources externes.
Conclusion
Ces catégories ont des durées, des contrôles et des usages différents. Aucune ne justifie une mémoire totale et automatique.
Simplification excessiveCAS 05Plus de paramètres signifie toujours meilleur
Ouvrir le dossier +
Méthode appliquée
Comparer la taille annoncée avec les données, le budget de calcul, le protocole d’évaluation et le nombre de paramètres réellement activés.
Conclusion
Les lois d’échelle décrivent des tendances conditionnelles. Un modèle doit équilibrer taille, données, calcul, architecture et post-entraînement.
Formulation trompeuseCAS 06L’attention est la conscience du modèle
Ouvrir le dossier +
Méthode appliquée
Revenir à l’équation : comparer des requêtes et des clés puis combiner des valeurs ne constitue pas un test de conscience.
Conclusion
Le mot attention désigne ici un mécanisme mathématique de pondération. La métaphore humaine n’est pas une preuve sur une expérience subjective.
Faux comme garantieCAS 07Le RLHF rend le modèle vrai
Ouvrir le dossier +
Méthode appliquée
Lire l’objectif mesuré par les préférences et distinguer amélioration du comportement, suivi d’instruction et exactitude factuelle.
Conclusion
Le RLHF peut rendre une réponse plus utile ou conforme à des préférences, mais un modèle post-entraîné peut encore halluciner.
Méthode insuffisanteCAS 08Une citation suffit
Ouvrir le dossier +
Méthode appliquée
Ouvrir la source, retrouver le passage, vérifier date, auteur, portée et attribution, puis comparer la conclusion à ce que le texte soutient réellement.
Conclusion
Une référence peut être inventée, mal copiée ou hors contexte. La piste de preuve doit rester vérifiable jusqu’au passage pertinent.