01
R1Source primaireArticle scientifique
Attention Is All You Need
Vaswani, A. et al. · 2017
Texte fondateur pour l’attention multi-têtes, les positions, le bloc feed-forward et la complexité du Transformer.
Vérifiée le 2026-07-184 modules reliés
Bibliothèque de preuves
Remonter à la source,
pas à la rumeur.
Chaque référence est reliée aux modules qu’elle éclaire. Son type, sa portée et sa date de vérification restent visibles pour éviter qu’une citation décorative ne passe pour une preuve.
Index consultable
Explorer les références
Filtrez par nature, niveau de preuve ou module associé. Chaque fiche conserve son identifiant de référence.
29 sources sur 29
- Consulter Attention Is All You Need, nouvel onglet
02
R2Consulter Improving Language Understanding by Generative Pre-Training, nouvel ongletSource primaireRapport techniqueImproving Language Understanding by Generative Pre-Training
Radford, A. et al. · 2018
Source historique sur le préentraînement génératif d’un Transformer de type décodeur puis son adaptation aux tâches.
Vérifiée le 2026-07-183 modules reliés03
R3Consulter Language Models are Unsupervised Multitask Learners, nouvel ongletSource primaireRapport techniqueLanguage Models are Unsupervised Multitask Learners
Radford, A. et al. · 2019
Rapport GPT-2 utile pour la prédiction autorégressive et l’apparition de capacités sans entraînement spécifique par tâche.
Vérifiée le 2026-07-183 modules reliés04
R4Consulter Language Models are Few-Shot Learners, nouvel ongletSource primaireArticle scientifiqueLanguage Models are Few-Shot Learners
Brown, T. B. et al. · 2020
Référence GPT-3 pour l’apprentissage en contexte, le few-shot et les effets observés lors du changement d’échelle.
Vérifiée le 2026-07-183 modules reliés05
R5Consulter GPT-4 Technical Report, nouvel ongletSource primaireRapport techniqueGPT-4 Technical Report
OpenAI · 2023, version mise à jour 2024
Source officielle qui confirme l’objectif de prochain token tout en déclarant non publiés les détails précis d’architecture et d’entraînement.
Vérifiée le 2026-07-183 modules reliés06
R6Consulter Training language models to follow instructions with human feedback, nouvel ongletSource primaireArticle scientifiqueTraining language models to follow instructions with human feedback
Ouyang, L. et al. · 2022
Référence InstructGPT pour distinguer préentraînement, démonstrations supervisées, modèle de récompense et optimisation par feedback humain.
Vérifiée le 2026-07-183 modules reliés07
R7Consulter DeepSeek-V3 Technical Report, nouvel ongletSource primaireRapport techniqueDeepSeek-V3 Technical Report
DeepSeek-AI et al. · 2024, version révisée 2025
Source primaire des nombres publics de DeepSeek-V3 : 61 couches, dimension 7 168, 128 têtes MLA, 671B paramètres totaux et 37B actifs.
Vérifiée le 2026-07-182 modules reliés08
R8Consulter Training Compute-Optimal Large Language Models, nouvel ongletSource primaireArticle scientifiqueTraining Compute-Optimal Large Language Models
Hoffmann, J. et al. · 2022
Étude Chinchilla montrant que l’efficacité dépend d’un équilibre entre paramètres, quantité de données et budget de calcul.
Vérifiée le 2026-07-182 modules reliés09
R9Consulter Scaling Laws for Neural Language Models, nouvel ongletSource primaireArticle scientifiqueScaling Laws for Neural Language Models
Kaplan, J. et al. · 2020
Étude empirique des relations entre perte, taille du modèle, quantité de données et calcul d’entraînement.
Vérifiée le 2026-07-182 modules reliés10
R10Consulter Root Mean Square Layer Normalization, nouvel ongletSource primaireArticle scientifiqueRoot Mean Square Layer Normalization
Zhang, B. et Sennrich, R. · 2019
Source de RMSNorm, utile pour comparer les objectifs et calculs des variantes de normalisation dans les réseaux profonds.
Vérifiée le 2026-07-181 module relié11
R11Consulter RoFormer: Enhanced Transformer with Rotary Position Embedding, nouvel ongletSource primaireArticle scientifiqueRoFormer: Enhanced Transformer with Rotary Position Embedding
Su, J. et al. · 2021
Source de RoPE, méthode qui encode la position relative par rotations appliquées aux requêtes et aux clés.
Vérifiée le 2026-07-182 modules reliés12
R12Consulter Train Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation, nouvel ongletSource primaireArticle scientifiqueTrain Short, Test Long: Attention with Linear Biases Enables Input Length Extrapolation
Press, O., Smith, N. A. et Lewis, M. · 2021, version révisée 2022
Source d’ALiBi, qui introduit un biais linéaire dépendant de la distance dans les scores d’attention.
Vérifiée le 2026-07-182 modules reliés13
R13Consulter GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints, nouvel ongletSource primaireArticle scientifiqueGQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints
Ainslie, J. et al. · 2023
Référence pour le partage groupé des clés et valeurs, destiné à réduire le cache et accélérer l’inférence.
Vérifiée le 2026-07-182 modules reliés14
R14Consulter Caching, nouvel ongletFait public confirméDocumentation officielleCaching
Hugging Face · consulté en 2026
Documentation technique expliquant ce qui est mémorisé et réutilisé pendant une génération autorégressive avec cache KV.
Vérifiée le 2026-07-181 module relié15
R15Consulter Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer, nouvel ongletSource primaireArticle scientifiqueOutrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Shazeer, N. et al. · 2017
Référence fondatrice du calcul conditionnel et des couches Mixture-of-Experts à activation éparse.
Vérifiée le 2026-07-181 module relié16
R16Consulter Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity, nouvel ongletSource primaireArticle scientifiqueSwitch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Fedus, W., Zoph, B. et Shazeer, N. · 2021, version révisée et JMLR 2022
Étude de Transformers épars à grande échelle, utile pour analyser routage, capacité et coût par token.
Vérifiée le 2026-07-181 module relié17
R17Consulter A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions, nouvel ongletSource secondaireArticle de rechercheA Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions
Huang, L. et al. · 2023, version révisée 2024
Synthèse structurée des types, causes, méthodes de détection et stratégies de réduction des hallucinations.
Vérifiée le 2026-07-182 modules reliés18
R18Consulter Toy Models of Superposition, nouvel ongletSource primaireArticle de rechercheToy Models of Superposition
Elhage, N. et al. · 2022
Travail sur modèles jouets montrant comment plusieurs caractéristiques peuvent partager des dimensions, sans généralisation automatique à tous les LLM de production.
Vérifiée le 2026-07-182 modules reliés19
R19Consulter Towards Monosemanticity: Decomposing Language Models With Dictionary Learning, nouvel ongletSource primaireArticle de rechercheTowards Monosemanticity: Decomposing Language Models With Dictionary Learning
Bricken, T. et al. · 2023
Preuve de concept sur un Transformer d’une couche avec MLP de 512 neurones, utile pour dépasser l’idée naïve d’un neurone égal à un concept sans promettre l’interprétabilité complète des grands modèles.
Vérifiée le 2026-07-182 modules reliés20
R20Consulter What are tokens and how to count them?, nouvel ongletFait public confirméDocumentation officielleWhat are tokens and how to count them?
OpenAI · consulté en 2026
Documentation officielle rappelant qu’un token peut être un fragment et que les approximations de comptage dépendent du modèle et de la langue.
Vérifiée le 2026-07-183 modules reliés21
R21Consulter How your data is used to improve model performance, nouvel ongletFait public confirméDocumentation officielleHow your data is used to improve model performance
OpenAI · consulté en 2026
Documentation officielle sur l’utilisation éventuelle des données pour améliorer les modèles selon l’offre, les réglages et le consentement ; elle ne décrit pas la fenêtre de contexte.
Vérifiée le 2026-07-181 module relié22
R22Consulter Data Controls FAQ, nouvel ongletFait public confirméDocumentation officielleData Controls FAQ
OpenAI · consulté en 2026
Documentation officielle sur les contrôles disponibles pour gérer l’utilisation des conversations et les choix de confidentialité.
Vérifiée le 2026-07-182 modules reliés23
R23Consulter Memory FAQ, nouvel ongletFait public confirméDocumentation officielleMemory FAQ
OpenAI · consulté en 2026
Documentation produit actuelle sur la synthèse de mémoire alimentée par conversations, fichiers et applications, et sur l’ancien mécanisme de souvenirs enregistrés ; elle ne décrit pas la fenêtre de contexte.
Vérifiée le 2026-07-181 module relié24
R24Consulter Temporary Chat FAQ, nouvel ongletFait public confirméDocumentation officielleTemporary Chat FAQ
OpenAI · consulté en 2026
Documentation officielle : absence d’historique et de mémoire de personnalisation, avec rétention possible jusqu’à 30 jours, instructions personnalisées, exception de sûreté et actions tierces à considérer.
Vérifiée le 2026-07-182 modules reliés25
R25Consulter Direct Preference Optimization: Your Language Model is Secretly a Reward Model, nouvel ongletSource primaireArticle scientifiqueDirect Preference Optimization: Your Language Model is Secretly a Reward Model
Rafailov, R. et al. · 2023
Source de DPO, méthode qui optimise directement les préférences à partir de paires sans boucle complète d’apprentissage par renforcement.
Vérifiée le 2026-07-181 module relié26
R26Consulter Constitutional AI: Harmlessness from AI Feedback, nouvel ongletSource primaireArticle scientifiqueConstitutional AI: Harmlessness from AI Feedback
Bai, Y. et al. · 2022
Étude d’un entraînement guidé par des principes et du feedback généré par modèle pour réduire des comportements nuisibles.
Vérifiée le 2026-07-182 modules reliés27
R27Consulter A Neural Probabilistic Language Model, nouvel ongletSource primaireArticle scientifiqueA Neural Probabilistic Language Model
Bengio, Y. et al. · 2003
Jalon historique des modèles de langue neuronaux et de l’apprentissage de représentations distribuées des mots.
Vérifiée le 2026-07-182 modules reliés28
R28Consulter Sequence to Sequence Learning with Neural Networks, nouvel ongletSource primaireArticle scientifiqueSequence to Sequence Learning with Neural Networks
Sutskever, I., Vinyals, O. et Le, Q. V. · 2014
Référence historique sur les architectures récurrentes encodeur-décodeur pour transformer une séquence en une autre.
Vérifiée le 2026-07-181 module relié29
R29Consulter Neural Machine Translation by Jointly Learning to Align and Translate, nouvel ongletSource primaireArticle scientifiqueNeural Machine Translation by Jointly Learning to Align and Translate
Bahdanau, D., Cho, K. et Bengio, Y. · 2014
Jalon de l’attention appliquée à la traduction neuronale avant l’auto-attention du Transformer.
Vérifiée le 2026-07-182 modules reliés