Prompt caching

Le cache de prompts accélère les réponses de Claude et réduit le coût des tokens d’entrée, en réutilisant le travail fait pour des requêtes précédentes. Pour comprendre comment, regardons d’abord ce qui se passe lors d’une requête ordinaire.

Ce que Claude fait d’un prompt

Avant d’écrire le moindre mot de réponse, Claude traite toute l’entrée : il la découpe en tokens, calcule une représentation de chacun, puis les met en contexte les uns par rapport aux autres. Ce n’est qu’ensuite qu’il génère la réponse. Une fois la réponse envoyée, tout ce travail préparatoire est jeté.

Le problème : refaire le même travail

Dans une conversation, chaque nouvelle requête renvoie le message précédent, la réponse de Claude et la nouvelle question. Claude doit alors refaire, pour le début de la conversation, exactement le travail qu’il vient de jeter. Même chose pour un long prompt système, une liste d’outils ou un document renvoyés à chaque requête.

La solution : garder le travail en cache

Le cache de prompts conserve ce travail au lieu de le jeter. La première requête écrit dans le cache le traitement d’un début de prompt ; les requêtes suivantes qui commencent par exactement le même contenu le lisent au lieu de tout recalculer.

• Une requête qui lit le cache est plus rapide et moins chère.
• La première requête écrit dans le cache ; les suivantes peuvent le lire.
• Le cache dure 5 minutes par défaut, et ce délai repart à chaque lecture. Certains modèles, dont Claude Haiku 5.5, acceptent aussi une durée d’une heure.
• Il ne sert que si l’on renvoie le même contenu, ce qui arrive très souvent.

Prompts système, définitions d’outils, historique de conversation, gros documents interrogés plusieurs fois : la plupart des applications renvoient sans cesse les mêmes textes.

Explicite ou implicite

Bedrock connaît deux formes de cache. Le cache implicite réutilise de lui-même des débuts de prompts, sans réglage, au mieux de ses possibilités ; il n’est pas proposé pour tous les modèles. Le cache explicite est celui que vous déclarez avec des points de cache. La fiche AWS de Claude Haiku 5.5 indique le cache explicite seulement : c’est l’objet de la leçon suivante.

À vous de jouer

Repérer ce qui se répète. Reprenez une requête type de l’assistant de rappels de la section Tool Use. Listez ce qui sera identique dans la requête suivante (prompt système, outils, début de l’historique) et ce qui changera. Estimez la part des tokens d’entrée qui pourrait venir du cache.

Sources officielles : Prompt caching (Claude Academy) · Prompt caching for faster model inference et fiche Claude Haiku 5.5 (documentation AWS)

Points clés à retenir

• Sans cache, Claude refait à chaque requête le traitement de tout le prompt.
• Le cache garde ce traitement : la première requête l’écrit, les suivantes le lisent.
• Lire le cache est plus rapide et moins cher ; le cache dure 5 minutes, ou une heure sur les modèles qui l’acceptent.
• Sur Haiku 5.5, le cache est explicite : c’est à vous de placer les points de cache.