La mémoire de travail

Pendant une conversation, le modèle ne se souvient que de ce qui se trouve dans sa fenêtre de contexte. Anthropic la décrit précisément comme une mémoire de travail : tout le texte auquel le modèle peut se référer pour produire sa réponse, distinct du vaste corpus sur lequel il a été entraîné. C’est la propriété qui explique les oublis, les « contradictions » d’une conversation à l’autre et l’intérêt de fournir ses documents.

Ce que contient la mémoire de travail

Tout ce qui est dans la conversation en cours : vos messages, les réponses précédentes, les documents joints, les résultats d’outils (une recherche web, un fichier lu), les instructions de l’application. Ce qui n’y est pas n’existe pas pour le modèle, à l’exception de ce qu’il a appris à l’entraînement.

Deux conséquences surprennent souvent :

• Une nouvelle conversation repart de zéro. Le modèle ne se souvient pas de vos échanges précédents. Les applications proposent des fonctions de mémoire ou des projets qui réinjectent du contexte, mais c’est le système qui le fait, pas le modèle.
• Ce que vous fournissez l’emporte souvent sur ce qu’il sait. Un document dans la conversation donne au modèle une source précise et à jour, bien plus fiable que sa mémoire d’entraînement.

Une mémoire vaste, mais pas parfaite

La fenêtre de contexte des modèles Claude actuels atteint un million de jetons dans l’API, soit plusieurs centaines de milliers de mots. Mais la documentation prévient que plus de contexte n’est pas automatiquement mieux : à mesure que le nombre de jetons augmente, la précision et la capacité à retrouver une information diminuent, un phénomène appelé context rot. Un détail noyé au milieu d’un très long échange peut être négligé.

Quand une conversation devient très longue, les systèmes la résument pour libérer de la place (la compaction). Le résumé garde l’essentiel, mais des consignes détaillées données au début peuvent se perdre.

Une falaise, pas une pente

Les autres propriétés se dégradent progressivement ; la mémoire de travail fonctionne souvent très bien, jusqu’au moment où elle ne fonctionne plus. Quand une conversation ou des documents dépassent la fenêtre, quelque chose sort, le plus souvent le plus ancien, et sans prévenir : le modèle ne signale pas qu’il a perdu vos premiers messages. Et le modèle n’apprend pas de vos corrections : il ne répond qu’à ce qui se trouve dans le contexte.

Même avant la limite, l’attention n’est pas uniforme. Une étude de 2023 a montré que des modèles retrouvent mieux une information placée au début ou à la fin d’un long contexte qu’au milieu, un effet appelé lost in the middle. Il rappelle l’effet de position sérielle que connaissent les psychologues : dans une liste, on retient mieux les premiers et les derniers éléments.

Les applications ajoutent des fonctions qui repoussent la falaise : une mémoire entre les conversations, la compaction qui résume l’historique, les projets qui gardent des documents durables, les skills qui ne chargent leurs instructions que lorsqu’une tâche en a besoin, les agents multiples qui ont chacun leur propre fenêtre, et des fenêtres plus grandes.

Les bonnes pratiques officielles

Le guide de prompting d’Anthropic donne des conseils précis pour les longs documents (à partir d’environ 20 000 jetons) :

• Placer les documents en haut du prompt, avant la question, les instructions et les exemples. Poser la question à la fin peut améliorer la qualité des réponses jusqu’à 30 % dans les tests, surtout avec plusieurs documents complexes.
• Structurer les documents avec des balises (par exemple <document>, avec la source et le contenu), pour que le modèle sache d’où vient chaque passage.
• Demander des citations exactes avant l’analyse, pour ancrer la réponse dans le texte.

Et trois réflexes d’usage :

• une conversation par sujet, plutôt qu’un fil interminable ;
• les consignes durables dans les instructions de l’application ou d’un projet, pas seulement dans un message ancien ;
• face à un oubli, rappeler l’information ou repartir d’une conversation propre avec un résumé.

À vous de jouer

Avant, après. Prenez une tâche de votre liste qui dépend d’un contexte que vous seul détenez : une charte de style, un bon exemple passé, des contraintes propres à votre public. Décrivez en deux ou trois lignes à quoi ressemble un bon résultat.

1. À froid, puis avec contexte. Demandez la tâche sans aucun contexte, puis, dans une nouvelle conversation, avec votre charte ou votre exemple en tête de message. Comparez les deux résultats à votre définition.
2. Perdu au milieu. Dans un long texte de référence, glissez une consigne importante au milieu, puis posez une question dont la bonne réponse en dépend. Recommencez avec la consigne placée tout en haut.
3. La page blanche. Apprenez quelque chose de votre contexte à l’IA, puis ouvrez une nouvelle conversation et posez une question qui suppose qu’elle s’en souvient.

Annotez votre liste : quelles tâches ont besoin d’un contexte durable (un projet, des instructions enregistrées, des documents de référence), et lesquelles marchent à froid ?

Sources officielles : Working Memory (Claude Academy, programme du cours) · Try It Out: Working Memory (Claude Academy) · Lost in the Middle (Liu et al., TACL) · Glossary · Context windows · Prompting best practices — Long context prompting

Points clés à retenir

• Une falaise plutôt qu’une pente : ce qui dépasse la fenêtre sort sans prévenir, et le modèle n’apprend pas de vos corrections
• Le milieu d’un long contexte reçoit moins d’attention : l’essentiel en tête, rappelé à la fin
• La fenêtre de contexte est la mémoire de travail du modèle : seul ce qui est dans la conversation existe pour lui
• Une nouvelle conversation repart de zéro ; les fonctions de mémoire sont celles du système, pas du modèle
• Plus de contexte n’est pas toujours mieux (context rot) ; les longues conversations sont résumées
• Documents en haut, question à la fin, balises et citations exactes