Bibliothèque de preuves
Remonter à la source,
pas à la rumeur.
Chaque référence est reliée aux modules qu’elle éclaire. Son type, sa portée et sa date de vérification restent visibles pour éviter qu’une citation décorative ne passe pour une preuve.
29
sources structurées
Articles originaux, rapports techniques et documentations officielles.
Lire la méthode →29 sources sur 29
- R1ConsulterAttention Is All You Need, nouvel ongletSource primaireArticle scientifique
Attention Is All You Need
Vaswani, A. et al. · 2017
Texte fondateur pour l’attention multi-têtes, les positions, le bloc feed-forward et la complexité du Transformer.
Vérifiée le 2026-07-184 modules reliés - R2ConsulterImproving Language Understanding by Generative Pre-Training, nouvel ongletSource primaireRapport technique
Improving Language Understanding by Generative Pre-Training
Radford, A. et al. · 2018
Source historique sur le préentraînement génératif d’un Transformer de type décodeur puis son adaptation aux tâches.
Vérifiée le 2026-07-183 modules reliés - R3ConsulterLanguage Models are Unsupervised Multitask Learners, nouvel ongletSource primaireRapport technique
Language Models are Unsupervised Multitask Learners
Radford, A. et al. · 2019
Rapport GPT-2 utile pour la prédiction autorégressive et l’apparition de capacités sans entraînement spécifique par tâche.
Vérifiée le 2026-07-183 modules reliés - R4ConsulterLanguage Models are Few-Shot Learners, nouvel ongletSource primaireArticle scientifique
Language Models are Few-Shot Learners
Brown, T. B. et al. · 2020
Référence GPT-3 pour l’apprentissage en contexte, le few-shot et les effets observés lors du changement d’échelle.
Vérifiée le 2026-07-183 modules reliés - R5ConsulterGPT-4 Technical Report, nouvel ongletSource primaireRapport technique
GPT-4 Technical Report
OpenAI · 2023, version mise à jour 2024
Source officielle qui confirme l’objectif de prochain token tout en déclarant non publiés les détails précis d’architecture et d’entraînement.
Vérifiée le 2026-07-183 modules reliés - R6ConsulterTraining language models to follow instructions with human feedback, nouvel ongletSource primaireArticle scientifique
Training language models to follow instructions with human feedback
Ouyang, L. et al. · 2022
Référence InstructGPT pour distinguer préentraînement, démonstrations supervisées, modèle de récompense et optimisation par feedback humain.
Vérifiée le 2026-07-183 modules reliés - R7ConsulterDeepSeek-V3 Technical Report, nouvel ongletSource primaireRapport technique
DeepSeek-V3 Technical Report
DeepSeek-AI et al. · 2024, version révisée 2025
Source primaire des nombres publics de DeepSeek-V3 : 61 couches, dimension 7 168, 128 têtes MLA, 671B paramètres totaux et 37B actifs.
Vérifiée le 2026-07-182 modules reliés - R8ConsulterTraining Compute-Optimal Large Language Models, nouvel ongletSource primaireArticle scientifique
Training Compute-Optimal Large Language Models
Hoffmann, J. et al. · 2022
Étude Chinchilla montrant que l’efficacité dépend d’un équilibre entre paramètres, quantité de données et budget de calcul.
Vérifiée le 2026-07-182 modules reliés - R9ConsulterScaling Laws for Neural Language Models, nouvel ongletSource primaireArticle scientifique
Scaling Laws for Neural Language Models
Kaplan, J. et al. · 2020
Étude empirique des relations entre perte, taille du modèle, quantité de données et calcul d’entraînement.
Vérifiée le 2026-07-182 modules reliés - R10ConsulterRoot Mean Square Layer Normalization, nouvel ongletSource primaireArticle scientifique
Root Mean Square Layer Normalization
Zhang, B. et Sennrich, R. · 2019
Source de RMSNorm, utile pour comparer les objectifs et calculs des variantes de normalisation dans les réseaux profonds.
Vérifiée le 2026-07-181 module relié - R11ConsulterRoFormer: Enhanced Transformer with Rotary Position Embedding, nouvel ongletSource primaireArticle scientifique
RoFormer: Enhanced Transformer with Rotary Position Embedding
Su, J. et al. · 2021
Source de RoPE, méthode qui encode la position relative par rotations appliquées aux requêtes et aux clés.
Vérifiée le 2026-07-182 modules reliés - R12ConsulterTrain Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation, nouvel ongletSource primaireArticle scientifique
Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation
Press, O., Smith, N. A. et Lewis, M. · 2021, version révisée 2022
Source d’ALiBi, qui introduit un biais linéaire dépendant de la distance dans les scores d’attention.
Vérifiée le 2026-07-182 modules reliés - R13ConsulterGQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints, nouvel ongletSource primaireArticle scientifique
GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
Ainslie, J. et al. · 2023
Référence pour le partage groupé des clés et valeurs, destiné à réduire le cache et accélérer l’inférence.
Vérifiée le 2026-07-182 modules reliés - R14ConsulterCaching, nouvel ongletFait public confirméDocumentation officielle
Caching
Hugging Face · consulté en 2026
Documentation technique expliquant ce qui est mémorisé et réutilisé pendant une génération autorégressive avec cache KV.
Vérifiée le 2026-07-181 module relié - R15ConsulterOutrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, nouvel ongletSource primaireArticle scientifique
Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Shazeer, N. et al. · 2017
Référence fondatrice du calcul conditionnel et des couches Mixture-of-Experts à activation éparse.
Vérifiée le 2026-07-181 module relié - R16ConsulterSwitch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, nouvel ongletSource primaireArticle scientifique
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Fedus, W., Zoph, B. et Shazeer, N. · 2021, version révisée et JMLR 2022
Étude de Transformers épars à grande échelle, utile pour analyser routage, capacité et coût par token.
Vérifiée le 2026-07-181 module relié - R17ConsulterA Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions, nouvel ongletSource secondaireArticle de recherche
A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
Huang, L. et al. · 2023, version révisée 2024
Synthèse structurée des types, causes, méthodes de détection et stratégies de réduction des hallucinations.
Vérifiée le 2026-07-182 modules reliés - R18ConsulterToy Models of Superposition, nouvel ongletSource primaireArticle de recherche
Toy Models of Superposition
Elhage, N. et al. · 2022
Travail sur modèles jouets montrant comment plusieurs caractéristiques peuvent partager des dimensions, sans généralisation automatique à tous les LLM de production.
Vérifiée le 2026-07-182 modules reliés - R19ConsulterTowards Monosemanticity: Decomposing Language Models With Dictionary Learning, nouvel ongletSource primaireArticle de recherche
Towards Monosemanticity: Decomposing Language Models With Dictionary Learning
Bricken, T. et al. · 2023
Preuve de concept sur un Transformer d’une couche avec MLP de 512 neurones, utile pour dépasser l’idée naïve d’un neurone égal à un concept sans promettre l’interprétabilité complète des grands modèles.
Vérifiée le 2026-07-182 modules reliés - R20ConsulterWhat are tokens and how to count them?, nouvel ongletFait public confirméDocumentation officielle
What are tokens and how to count them?
OpenAI · consulté en 2026
Documentation officielle rappelant qu’un token peut être un fragment et que les approximations de comptage dépendent du modèle et de la langue.
Vérifiée le 2026-07-183 modules reliés - R21ConsulterHow your data is used to improve model performance, nouvel ongletFait public confirméDocumentation officielle
How your data is used to improve model performance
OpenAI · consulté en 2026
Documentation officielle sur l’utilisation éventuelle des données pour améliorer les modèles selon l’offre, les réglages et le consentement ; elle ne décrit pas la fenêtre de contexte.
Vérifiée le 2026-07-181 module relié - R22ConsulterData Controls FAQ, nouvel ongletFait public confirméDocumentation officielle
Data Controls FAQ
OpenAI · consulté en 2026
Documentation officielle sur les contrôles disponibles pour gérer l’utilisation des conversations et les choix de confidentialité.
Vérifiée le 2026-07-182 modules reliés - R23ConsulterMemory FAQ, nouvel ongletFait public confirméDocumentation officielle
Memory FAQ
OpenAI · consulté en 2026
Documentation produit actuelle sur la synthèse de mémoire alimentée par conversations, fichiers et applications, et sur l’ancien mécanisme de souvenirs enregistrés ; elle ne décrit pas la fenêtre de contexte.
Vérifiée le 2026-07-181 module relié - R24ConsulterTemporary Chat FAQ, nouvel ongletFait public confirméDocumentation officielle
Temporary Chat FAQ
OpenAI · consulté en 2026
Documentation officielle : absence d’historique et de mémoire de personnalisation, avec rétention possible jusqu’à 30 jours, instructions personnalisées, exception de sûreté et actions tierces à considérer.
Vérifiée le 2026-07-182 modules reliés - R25ConsulterDirect Preference Optimization: Your Language Model is Secretly a Reward Model, nouvel ongletSource primaireArticle scientifique
Direct Preference Optimization: Your Language Model is Secretly a Reward Model
Rafailov, R. et al. · 2023
Source de DPO, méthode qui optimise directement les préférences à partir de paires sans boucle complète d’apprentissage par renforcement.
Vérifiée le 2026-07-181 module relié - R26ConsulterConstitutional AI: Harmlessness from AI Feedback, nouvel ongletSource primaireArticle scientifique
Constitutional AI: Harmlessness from AI Feedback
Bai, Y. et al. · 2022
Étude d’un entraînement guidé par des principes et du feedback généré par modèle pour réduire des comportements nuisibles.
Vérifiée le 2026-07-182 modules reliés - R27ConsulterA Neural Probabilistic Language Model, nouvel ongletSource primaireArticle scientifique
A Neural Probabilistic Language Model
Bengio, Y. et al. · 2003
Jalon historique des modèles de langue neuronaux et de l’apprentissage de représentations distribuées des mots.
Vérifiée le 2026-07-182 modules reliés - R28ConsulterSequence to Sequence Learning with Neural Networks, nouvel ongletSource primaireArticle scientifique
Sequence to Sequence Learning with Neural Networks
Sutskever, I., Vinyals, O. et Le, Q. V. · 2014
Référence historique sur les architectures récurrentes encodeur-décodeur pour transformer une séquence en une autre.
Vérifiée le 2026-07-181 module relié - R29ConsulterNeural Machine Translation by Jointly Learning to Align and Translate, nouvel ongletSource primaireArticle scientifique
Neural Machine Translation by Jointly Learning to Align and Translate
Bahdanau, D., Cho, K. et Bengio, Y. · 2014
Jalon de l’attention appliquée à la traduction neuronale avant l’auto-attention du Transformer.
Vérifiée le 2026-07-182 modules reliés