GPT-4 et DeepSeek-V3 : deux niveaux de publication
Situation concrète
La même question — combien de couches ? — reçoit deux réponses méthodologiques différentes selon ce que le laboratoire a choisi de publier.
Objectifs d’apprentissage
- Formuler correctement une limite de publication sur GPT-4
- Lire les nombres DeepSeek-V3 avec leurs étiquettes
Prérequis
- Leçon 11.1
Mode simple
Le rapport technique GPT-4 décrit l’entraînement général, des évaluations et des limites, mais indique qu’il ne publie pas les détails d’architecture, de taille, de calcul et de données. On ne peut donc pas confirmer publiquement « GPT-4 a 61 couches » avec ce rapport. Le rapport DeepSeek-V3 publie une table : 61 couches, dimension cachée 7 168, 128 têtes MLA, 671 milliards de paramètres totaux et 37 milliards actifs par token. Ces nombres sont confirmés pour ce modèle et cette version.
Mode approfondi
L’absence de divulgation est une limite épistémique, non une preuve que toute estimation externe est fausse ; elle interdit seulement de la présenter comme fait officiel confirmé. À l’inverse, une table publique n’élimine pas l’obligation de lire définitions et notes. Le nombre de couches peut inclure des conventions propres, les paramètres actifs dépendent du routage et 128 qualifie les têtes documentées. La comparaison entre modèles exige une définition commune avant tout classement.
Analogie
Deux bâtiments peuvent sembler comparables, mais l’un fournit des plans détaillés et l’autre seulement un rapport de performance : on ne peut mesurer les mêmes pièces avec la même certitude.
Exemple concret
La phrase correcte est « DeepSeek-V3 publie une dimension cachée de 7 168 ». Retirer le nom du modèle transforme un fait précis en nombre flottant et trompeur.
La fiche GPT-4 marque l’architecture détaillée non publiée ; la fiche DeepSeek-V3 liste cinq hyperparamètres avec leurs étiquettes.
Activité manipulable
Confusion fréquente
« Non public » n’autorise pas à recopier une estimation virale, et « public » n’autorise pas à transférer le nombre à une autre architecture.
Vérification rapide
Quel verdict donner à « GPT-4 a 61 couches » comme fait officiel ?
Non public dans le rapport technique GPT-4 ; l’affirmation est fausse si elle est présentée comme un fait officiel établi par cette source.
Résumé
- GPT-4 ne divulgue pas son architecture détaillée.
- DeepSeek-V3 publie plusieurs hyperparamètres précis.
- Chaque nombre doit rester attaché à son modèle et à sa définition.