La mise en cache des prompts

Beaucoup d’applications renvoient à Claude, requête après requête, le même long début de prompt : un prompt système détaillé, des définitions d’outils, un document, l’historique d’une conversation. La mise en cache des prompts (prompt caching) évite de faire retraiter ce début à chaque fois : les réponses arrivent plus vite, et la partie en cache coûte bien moins cher.

Sans cache : tout recommencer à chaque requête

Avant de produire le moindre mot, Claude traite tout le prompt : il le découpe en jetons, puis calcule pour chacun une représentation qui tient compte de ce qui l’entoure. Sans cache, ce travail est jeté une fois la réponse envoyée. Si la requête suivante reprend le même document de 50 000 jetons pour poser une autre question, tout est recalculé, et facturé, de nouveau.

Avec cache : écrire une fois, relire ensuite

Avec la mise en cache, la première requête traite le prompt comme d’habitude, mais conserve le travail fait sur son début, le préfixe, au lieu de le jeter : c’est l’écriture dans le cache. Les requêtes suivantes qui commencent par exactement le même préfixe relisent ce travail au lieu de le refaire.

Un exemple sur Claude Sonnet 5.5, à 2 dollars le million de jetons d’entrée : dix questions, en quelques minutes, sur un même document de 50 000 jetons. Sans cache, le document est facturé dix fois, soit 1 dollar. Avec cache, il est écrit une fois (0,125 dollar), puis relu neuf fois à 0,10 dollar le million (0,045 dollar) : 0,17 dollar au total, 83 % d’économie sur le document.

La durée de vie

Par défaut, une entrée du cache vit 5 minutes, et chaque lecture la prolonge gratuitement de 5 minutes. Une application sollicitée régulièrement garde donc son cache actif en continu. Pour des usages plus espacés, une durée d’une heure existe, avec une écriture facturée deux fois le prix d’entrée au lieu de 1,25 fois.

Quand le cache est utile

Le cache ne rapporte que si le même début de prompt revient souvent, dans la durée de vie du cache. Les cas typiques :

• un long prompt système, envoyé avec chaque question ;
• des définitions d’outils nombreuses ou détaillées ;
• un document sur lequel on pose plusieurs questions ;
• une conversation longue, dont l’historique est renvoyé à chaque tour ;
• une étape de préparation qui envoie le même document des centaines de fois, comme la récupération contextuelle de la leçon 54.

La mise en cache, automatique ou par points d’arrêt explicites, est disponible sur tous les modèles actifs. La leçon suivante en donne les règles, la leçon 62 la met en œuvre.

À vous de jouer

Estimer l’économie. Pour une application que vous connaissez, notez la taille du début de prompt qui ne change pas (prompt système, outils, documents), le nombre de requêtes par heure et le modèle utilisé. Calculez le coût de ce préfixe sur une heure, sans cache puis avec un cache de 5 minutes.

Sources officielles : Prompt caching (Claude Academy) · Prompt caching (documentation Claude : tarifs, durée de vie, modèles)

Points clés à retenir

• La mise en cache conserve le travail fait sur le début du prompt pour les requêtes suivantes.
• Le préfixe doit être exactement le même pour être relu.
• Une lecture coûte au plus un dixième du prix normal d’entrée ; une écriture, 1,25 fois (5 minutes) ou 2 fois (une heure).
• Le cache vit 5 minutes, prolongées gratuitement à chaque lecture.
• Il ne rapporte que si le même début de prompt revient souvent.