Tokens : les vraies unités du texte
Situation concrète
Un mot familier peut devenir une unité, plusieurs fragments ou une combinaison avec l’espace qui le précède. Le découpage appartient au tokenizer, pas à une règle universelle du langage.
Objectifs d’apprentissage
- Reconnaître plusieurs formes possibles de tokens
- Expliquer pourquoi la segmentation dépend du tokenizer
Prérequis
- Module 1
Mode simple
Le tokenizer possède une liste d’unités et des règles pour découper le texte. Un mot fréquent peut tenir dans un token ; un nom rare peut être partagé en morceaux ; la ponctuation et les espaces peuvent avoir leurs propres unités. Cette stratégie permet de composer des mots inconnus sans stocker tous les mots possibles. En échange, le nombre de tokens varie selon la langue, les accents, la version du tokenizer et le modèle.
Mode approfondi
La tokenisation transforme une chaîne en identifiants discrets issus d’un vocabulaire fini. Les familles sous-lexicales telles que BPE apprennent des fusions fréquentes, mais normalisation, pré-tokenisation, gestion des octets et tokens spéciaux changent selon les implémentations. Une règle moyenne en caractères ou en mots peut servir à estimer un budget ; elle ne permet pas de prédire exactement une segmentation sans exécuter le tokenizer concerné.
Analogie
Une boîte de briques contient des formes réutilisables : un petit objet courant prend une brique, un objet rare se construit avec plusieurs pièces.
Exemple concret
Un terme technique peu fréquent peut être séparé en racine et suffixes, tandis qu’un signe de ponctuation devient une unité distincte. Un autre tokenizer peut choisir autrement.
La même phrase apparaît sur trois lignes avec des frontières de tokens différentes, toutes étiquetées comme exemples.
Activité manipulable
Confusion fréquente
Le visualiseur pédagogique ne prétend pas reproduire tous les tokenizers. Seule l’exécution du tokenizer exact donne le découpage exact.
Vérification rapide
Pourquoi « un token vaut quatre caractères » n’est-il pas une loi ?
C’est un ordre de grandeur dépendant du corpus. Accents, langue, espaces, vocabulaire et algorithme modifient le résultat pour chaque chaîne.
Résumé
- Un token peut être plus petit ou plus grand qu’un mot.
- La segmentation dépend du tokenizer et du vocabulaire.
- Les ratios moyens servent à estimer, jamais à prouver un découpage.