Fenêtre, historique et personnalisation
Situation concrète
Un compte peut conserver cent conversations sans que les cent conversations tiennent dans la requête actuelle. Stocker et rendre disponible au modèle sont deux opérations.
Objectifs d’apprentissage
- Expliquer ce que limite la fenêtre de contexte
- Distinguer conservation d’un historique et utilisation dans une réponse
Prérequis
- Leçon 8.1
Mode simple
La fenêtre de contexte fixe un nombre maximal de tokens pris en compte ensemble. Le système partage cette place entre instructions, conversation, documents et réponse en cours. Un historique peut être plus grand, mais le produit doit sélectionner, résumer ou ignorer des éléments avant de les placer dans la fenêtre. Une mémoire de personnalisation suit aussi des règles : elle peut être désactivée, modifiée ou limitée selon le service. Il faut consulter les contrôles actuels plutôt que supposer un fonctionnement universel.
Mode approfondi
Les stratégies de gestion incluent troncature, résumé hiérarchique, recherche sémantique et sélection par politiques. Chacune peut perdre une nuance ou introduire une erreur de récupération. La longueur nominale d’une fenêtre ne garantit pas une utilisation uniforme de toutes les positions, et son coût dépend de l’architecture. Une mémoire persistante crée par ailleurs des enjeux d’isolation, de consentement, de suppression et de provenance qui dépassent le mécanisme d’attention.
Analogie
Des archives entières existent au sous-sol, mais seul un nombre limité de dossiers peut être ouvert sur le bureau pendant une réunion.
Exemple concret
Une ancienne préférence peut être stockée dans le compte, sélectionnée par le produit puis insérée sous forme de consigne courte dans le contexte du nouvel échange.
Deux grandes piles d’archives convergent vers un filtre puis vers un petit rectangle partagé entre instructions, messages, documents et sortie.
Activité manipulable
Confusion fréquente
Une grande fenêtre ne garantit pas que chaque détail ancien sera retrouvé, pondéré correctement ou conservé lorsque la limite est dépassée.
Vérification rapide
Pourquoi l’historique complet ne correspond-il pas au contexte complet ?
L’historique peut être stocké séparément et dépasser la fenêtre. Seuls les éléments sélectionnés et transmis deviennent du contexte pour cette réponse.
Résumé
- La fenêtre est une limite de calcul courante.
- L’historique peut exister sans être transmis.
- La personnalisation repose sur une sélection et des contrôles produit.