Exemples et few-shot prompting

Cette leçon montre la technique que le tutoriel juge parmi les plus efficaces : donner des exemples de ce que l’on veut, pour obtenir la bonne réponse et la bonne forme. Deux exemples du tutoriel, un robot pour enfants et une extraction de noms et métiers, puis l’exercice de classification de courriels refait en few-shot.

Montrer plutôt que décrire

Donner à Claude des exemples de la façon dont vous voulez qu’il se comporte, ou ne se comporte pas, est extrêmement efficace pour obtenir la bonne réponse et la réponse dans le bon format. On appelle cela le few-shot prompting ; vous croiserez aussi « zero-shot », « one-shot » et « n-shot » : le nombre de « shots » est le nombre d’exemples dans le prompt. Vous avez travaillé en zero-shot jusqu’ici.

Imaginez un « robot parent » qui répond aux questions des enfants. La réponse par défaut de Claude à « le Père Noël m’apportera-t-il des cadeaux ? » est formelle et robotique, de quoi briser le cœur d’un enfant. Vous pourriez décrire le ton voulu ; il est bien plus simple de donner quelques exemples de réponses idéales : « Q : la petite souris existe-t-elle ? A : bien sûr, mon cœur, mets ta dent sous l’oreiller ce soir… », puis la question sur le Père Noël, en demandant d’écrire la ligne suivante dans la voix de « A ».

PROMPT = """Please complete the conversation by writing the next line, speaking as "A".
Q: Is the tooth fairy real?
A: Of course, sweetie. Wrap up your tooth and put it under your pillow tonight. There might be something waiting for you in the morning.
Q: Will Santa bring me presents on Christmas?"""
print(get_completion(PROMPT))

Régler le format par l’exemple

Pour extraire noms et métiers d’un texte dans un format précis, on pourrait détailler les consignes de formatage ; on peut aussi donner des exemples correctement formatés et laisser Claude extrapoler. Le tutoriel enchaîne deux passages (le village de Silvermist Hollow, la ville de Riverside Grove) chacun suivi de sa liste <individuals> numérotée, « 1. Dr. Liam Patel [NEUROSURGEON] », puis un troisième passage, Oak Valley, sans liste : Claude produit la liste au même format. Le tutoriel amorçait la réponse avec <individuals> dans le tour assistant ; sans préremplissage, les deux exemples suffisent, et une consigne « réponds uniquement par la liste dans des balises individuals » fixe le reste. Attention à l’effet miroir : Claude reproduit ce que l’exemple contient, y compris ses défauts (le tutoriel a une coquille, « MISICIAN », que le modèle pourrait imiter).

Choisir ses exemples

La documentation actuelle résume les règles : des exemples pertinents, qui reflètent votre cas réel ; diversifiés, couvrant les cas limites et assez variés pour que Claude ne retienne pas un motif involontaire ; structurés, chacun dans <example>, l’ensemble dans <examples>, pour les distinguer des consignes ; trois à cinq pour de bons résultats. Elle suggère aussi de demander à Claude d’évaluer vos exemples ou d’en générer d’autres à partir des vôtres. Même un seul exemple vaut mieux qu’aucun, et un exemple bâclé produit des sorties bâclées, très fidèlement.

À vous de jouer

Exercice 7.1 : classer des courriels par l’exemple. Refaites l’exercice 6.2 en few-shot : le prompt donne des exemples de courriels avec leur classification et leur format, et la dernière lettre de la réponse doit être la lettre de la catégorie. Mêmes catégories, (A) avant-vente, (B) défectueux, (C) facturation, (D) autre, mêmes quatre courriels. Écrivez d’abord un exemple par catégorie, puis retirez-en un et observez quelle catégorie souffre.

Sources officielles : 07_Using_Examples_Few-Shot_Prompting.ipynb (anthropics/prompt-eng-interactive-tutorial) · Prompting best practices (documentation Claude : « Use examples effectively »)

Points clés à retenir

• Des exemples valent souvent mieux qu’une description : ils donnent à la fois la bonne réponse et le bon format.
• Zero-shot, one-shot, few-shot : le nombre d’exemples ; un seul vaut déjà mieux qu’aucun.
• Pertinents, diversifiés, structurés dans <example> ; trois à cinq pour commencer.
• Claude reproduit ce que l’exemple contient, défauts compris : soignez-les.
• Le ton d’un assistant se montre par un échange joué, pas par un adjectif.