Introduction au RAG

La génération augmentée par récupération (Retrieval Augmented Generation, ou RAG) sert à travailler avec des documents trop volumineux, ou trop nombreux, pour qu’on les envoie en entier à chaque question. Au lieu de tout mettre dans le prompt, on découpe les documents en morceaux, et on ne fournit à Claude que les passages utiles à la question posée.

Le problème des documents volumineux

Imaginez un rapport financier de 800 pages, et une question comme « Quels sont les facteurs de risque de cette entreprise ? ». Il faut faire parvenir à Claude l’information pertinente du document. Deux options s’offrent à vous.

Option 1 : tout mettre dans le prompt

On extrait tout le texte du document et on le place dans le prompt, avec la question :

Réponds à la question de l'utilisateur sur le document financier.

<user_question>
{user_question}
</user_question>

<financial_document>
{financial_document}
</financial_document>

Le cours officiel relève quatre limites à cette approche :

• la longueur d’un prompt a une limite stricte, et le document peut la dépasser ;
• Claude est moins efficace avec des prompts très longs ;
• un long prompt coûte plus cher ;
• un long prompt est plus lent à traiter.

La première limite a beaucoup reculé : les modèles actuels ont une fenêtre de contexte d’un million de jetons, soit environ 555 000 mots. Les trois autres demeurent. La documentation le rappelle : plus le nombre de jetons augmente, plus la précision et le rappel se dégradent, un phénomène qu’elle appelle context rot. Et le coût comme la lenteur se paient à chaque question.

Option 2 : découper, puis ne fournir que l’utile

La RAG ajoute une étape de préparation : on découpe le document en morceaux (chunks). Quand une question arrive, on cherche les morceaux les plus pertinents et on ne place que ceux-là dans le prompt. Pour « Quels risques cette entreprise court-elle ? », la recherche trouve la section « Facteurs de risque », et seul ce passage part avec la question.

Ce que la RAG apporte, et ce qu’elle coûte

Les avantages : Claude se concentre sur le contenu pertinent ; l’approche passe à l’échelle de très grands documents et de collections entières ; les prompts plus courts coûtent moins et répondent plus vite.

Les difficultés :

• il faut une étape de préparation pour découper les documents ;
• il faut un mécanisme de recherche pour trouver les morceaux « pertinents » ;
• les morceaux retenus peuvent ne pas contenir tout le contexte dont Claude a besoin ;
• il existe de nombreuses façons de découper un texte, et aucune n’est la meilleure partout.

Quand choisir la RAG

La RAG demande plus de travail que de tout mettre dans le prompt, et chaque étape est un choix technique à évaluer. Anthropic le dit sans détour dans son article sur la récupération contextuelle : parfois, la solution la plus simple est la meilleure. Quand la base de connaissances tient confortablement dans le prompt, on peut l’y mettre en entier, et la mise en cache des prompts (leçons 46 à 48) rend alors cette approche rapide et économique.

La RAG devient le bon choix quand la base dépasse ce que l’on veut envoyer à chaque question : des documents très volumineux, des collections nombreuses ou qui changent souvent, ou un volume de questions qui rend chaque jeton coûteux. Elle échange de la simplicité contre de la capacité et de l’efficacité.

À vous de jouer

Estimer avant de construire. Prenez un corpus de votre entreprise : documentation produit, contrats, procédures. Estimez sa taille en jetons (environ 1 jeton pour 2,5 caractères avec le tokeniseur actuel), le nombre de questions par jour, et la fréquence de mise à jour. Décidez si tout envoyer avec la mise en cache suffit, ou si la RAG s’impose, et notez pourquoi.

Sources officielles : Introducing Retrieval Augmented Generation (Claude Academy) · Contextual Retrieval (Anthropic : « Sometimes the simplest solution is the best ») · Context windows (documentation Claude : taille et context rot)

Points clés à retenir

• La RAG découpe les documents et ne fournit à Claude que les passages utiles à la question.
• Tout mettre dans le prompt est simple, mais coûte plus cher et répond plus lentement à chaque question.
• La fenêtre de contexte des modèles actuels atteint un million de jetons ; la limite de taille recule, pas le coût.
• La RAG demande des choix : découpage, recherche, contexte des morceaux.
• Si la base tient dans le prompt, commencez simple, avec la mise en cache ; sinon, la RAG.