Affirmation 1
Le Transformer de 2017 remplace la récurrence par une architecture fondée sur l’attention.
Chercher · comparer · qualifier
Une réponse n’est pas une preuve.
Voici comment les distinguer.
Utilisez l’index pour retrouver une notion, puis le laboratoire pour tester la portée d’une affirmation. Le bon verdict n’est pas toujours « vrai » ou « faux » : parfois, l’information n’est simplement pas publique.
Répertoire transversal
Que voulez-vous éclaircir ?
Explorez les cours, modules, leçons, concepts, définitions et références depuis un même index.
Ctrl/Cmd K ou /
pour ouvrir la recherche
Ctrl K
12 résultats à découvrir
Raccourci : /- 01Comprendre les LLM, de la phrase à la preuveCoursUn cours de recherche complet pour suivre une phrase dans un Transformer, comprendre comment un modèle apprend et vérifier avec méthode ce que les architectures publiques permettent réellement d’affirmer.13 modules · 22 h
- 02S’orienter dans le coursModulesApprendre à choisir son niveau de lecture, enquêter avec méthode et qualifier une preuve avant d’étudier les mécanismes.Module 0 · Comprendre les LLM, de la phrase à la preuve
- 03Ce que fait réellement un modèle de langageModulesPoser les distinctions fondatrices entre texte, calcul, prédiction, paramètres, activations et contexte.Module 1 · Comprendre les LLM, de la phrase à la preuve
- 04Tokens, nombres et représentationsModulesSuivre la transformation du texte en unités puis en vecteurs, sans prendre les cartes simplifiées pour le mécanisme complet.Module 2 · Comprendre les LLM, de la phrase à la preuve
- 05Le voyage complet d’une phraseModulesParcourir toute la chaîne de calcul, de la tokenisation à la répétition autorégressive qui construit une réponse.Module 3 · Comprendre les LLM, de la phrase à la preuve
- 06Le Transformer et l’attentionModulesOuvrir un bloc Transformer et comprendre attention, QKV, masque causal, têtes, résidus, normalisation et MLP.Module 4 · Comprendre les LLM, de la phrase à la preuve
- 07Génération, contexte et performanceModulesRelier les choix de décodage à la variabilité des réponses, puis mesurer les coûts du contexte et l’apport du cache KV.Module 5 · Comprendre les LLM, de la phrase à la preuve
- 08Architectures modernesModulesComparer les familles et variantes d’attention, puis lire les nombres publiés d’un modèle MoE sans les attribuer à un autre.Module 6 · Comprendre les LLM, de la phrase à la preuve
- 09Comment les modèles apprennentModulesComprendre la perte, les gradients et le préentraînement, puis replacer les méthodes de post-entraînement dans leurs vraies limites.Module 7 · Comprendre les LLM, de la phrase à la preuve
- 10Mémoire, contexte et personnalisationModulesSéparer cinq catégories souvent confondues et prendre des décisions prudentes sur les données et les réglages.Module 8 · Comprendre les LLM, de la phrase à la preuve
- 11Hallucinations, raisonnement et limitesModulesComprendre pourquoi la plausibilité ne garantit pas la vérité et choisir les bons outils pour contrôler une réponse.Module 9 · Comprendre les LLM, de la phrase à la preuve
- 12Histoire et bases mathématiquesModulesRelier la généalogie des modèles de langue aux objets mathématiques indispensables pour lire un schéma d’architecture.Module 10 · Comprendre les LLM, de la phrase à la preuve
01
Définir l’affirmation
Isoler les mots précis, les nombres et la portée temporelle.
02
Remonter à l’origine
Chercher le rapport, l’article ou la documentation qui publie réellement l’information.
03
Lire la portée
Distinguer ce que la source mesure, annonce, suppose ou ne divulgue pas.
04
Qualifier le verdict
Choisir confirmé, simplifié, trompeur, faux ou non public sans forcer la certitude.
À vous de trancher
Laboratoire de vérification
Attribuez un verdict, puis confrontez votre choix à la portée exacte d’une source primaire.
Activité interactive
Laboratoire de vérification des affirmations
Attribue un verdict à chaque affirmation, puis confronte-le à la correction et à la source primaire.
Six affirmations techniques sur les Transformers, GPT-4 et DeepSeek-V3 sont évaluées avec des verdicts nuancés et des sources publiques.
Affirmation 2
GPT-4 contient exactement 1,76 billion de paramètres.
Affirmation 3
DeepSeek-V3 annonce 671 milliards de paramètres totaux et 37 milliards activés par token.
Affirmation 4
La configuration publiée de DeepSeek-V3 indique 61 couches Transformer.
Affirmation 5
La dimension cachée publiée pour DeepSeek-V3 est de 7 168.
Affirmation 6
Le mécanisme MLA de DeepSeek-V3 est configuré avec 128 têtes d’attention.
Affirmation 7
Une tête d’attention correspond toujours à une règle grammaticale facile à nommer.
Affirmation 8
L’attention compare chaque token à chaque autre token, donc tout Transformer a toujours exactement le même coût quadratique.
Affirmation 9
Dire que les embeddings placent les mots proches les uns des autres est une description complète de leur fonctionnement.
Dossiers documentés
Les 8 études de cas du cours
Non public pour GPT-4CAS 01GPT-4 a 61 couches
Lire l’analyse
Méthode appliquée
Chercher d’abord le rapport technique officiel de GPT-4 et vérifier s’il publie l’architecture détaillée avant de comparer ce nombre à un autre modèle.
Conclusion
Le rapport public ne donne ni le nombre de couches ni la taille exacte. Présenter 61 comme un fait établi sur GPT-4 est donc injustifié.
Confirmé pour DeepSeek-V3CAS 02DeepSeek-V3 a une dimension cachée de 7 168
Lire l’analyse
Méthode appliquée
Ouvrir le tableau d’hyperparamètres du rapport DeepSeek-V3 et vérifier l’étiquette exacte de la valeur avant toute réutilisation.
Conclusion
Le rapport publie bien une dimension cachée de 7 168 pour DeepSeek-V3 ; ce chiffre ne décrit pas automatiquement un autre modèle.
Faux ou trop simplifiéCAS 03Un token est un mot
Lire l’analyse
Méthode appliquée
Comparer l’affirmation à la documentation d’un tokenizer et chercher des exemples de mots scindés, signes, espaces ou caractères isolés.
Conclusion
Un token est une unité du vocabulaire choisi. Il peut correspondre à un mot, un fragment, un signe ou un espace selon l’encodage.
Faux comme règle généraleCAS 04Le modèle se souvient de tout ce que je dis
Lire l’analyse
Méthode appliquée
Séparer la fenêtre de contexte, la mémoire enregistrée, l’historique du compte, les données d’entraînement et les sources externes.
Conclusion
Ces catégories ont des durées, des contrôles et des usages différents. Aucune ne justifie une mémoire totale et automatique.
Simplification excessiveCAS 05Plus de paramètres signifie toujours meilleur
Lire l’analyse
Méthode appliquée
Comparer la taille annoncée avec les données, le budget de calcul, le protocole d’évaluation et le nombre de paramètres réellement activés.
Conclusion
Les lois d’échelle décrivent des tendances conditionnelles. Un modèle doit équilibrer taille, données, calcul, architecture et post-entraînement.
Formulation trompeuseCAS 06L’attention est la conscience du modèle
Lire l’analyse
Méthode appliquée
Revenir à l’équation : comparer des requêtes et des clés puis combiner des valeurs ne constitue pas un test de conscience.
Conclusion
Le mot attention désigne ici un mécanisme mathématique de pondération. La métaphore humaine n’est pas une preuve sur une expérience subjective.
Faux comme garantieCAS 07Le RLHF rend le modèle vrai
Lire l’analyse
Méthode appliquée
Lire l’objectif mesuré par les préférences et distinguer amélioration du comportement, suivi d’instruction et exactitude factuelle.
Conclusion
Le RLHF peut rendre une réponse plus utile ou conforme à des préférences, mais un modèle post-entraîné peut encore halluciner.
Méthode insuffisanteCAS 08Une citation suffit
Lire l’analyse
Méthode appliquée
Ouvrir la source, retrouver le passage, vérifier date, auteur, portée et attribution, puis comparer la conclusion à ce que le texte soutient réellement.
Conclusion
Une référence peut être inventée, mal copiée ou hors contexte. La piste de preuve doit rester vérifiable jusqu’au passage pertinent.