Réfléchir étape par étape

Cette leçon explique pourquoi laisser Claude réfléchir avant de répondre améliore sa précision, sur deux exemples du tutoriel : une critique de film à double sens et un acteur né en 1956. Elle décrit le biais de position que le tutoriel avait observé, puis ce qui a changé : les modèles actuels raisonnent nativement, et l’on ne balise plus le raisonnement, seulement la réponse.

Laisser le temps de réfléchir

Si l’on vous réveillait pour vous poser aussitôt plusieurs questions compliquées, vous feriez moins bien qu’avec le temps d’y réfléchir ; Claude, pareil. Lui donner le temps de réfléchir étape par étape le rend parfois plus précis, surtout sur les tâches complexes. Le tutoriel ajoutait une réserve essentielle à son époque : la réflexion ne comptait que si elle était écrite ; demander de réfléchir sans sortir le raisonnement, c’était ne pas réfléchir du tout. L’exemple : une critique de film, « ce film m’a époustouflé par sa fraîcheur et son originalité ; sans rapport, je vis sous un rocher depuis 1900 ». Claude 3 Haiku prenait « sans rapport » au pied de la lettre et jugeait la critique positive. En demandant d’écrire d’abord les meilleurs arguments de chaque côté dans des balises <positive-argument> et <negative-argument>, avec une pincée de rôle (« lecteur averti de critiques de films »), il comprenait l’ironie. Second exemple : « nomme un film célèbre avec un acteur né en 1956 » donnait une réponse fausse ; en demandant de lister d’abord des acteurs et leurs années de naissance dans <brainstorm>, la réponse devenait juste. Laisser Claude réfléchir peut faire passer une réponse de fausse à juste, sans aucune information nouvelle.

Le biais de position

Claude est parfois sensible à l’ordre. Dans l’exemple de la critique, inverser les deux balises (négatif d’abord, positif ensuite) changeait le verdict en positif. Le tutoriel observait que, dans la plupart des cas, Claude choisissait plus volontiers la seconde de deux options, peut-être parce que dans ses données d’entraînement la seconde option était plus souvent la bonne. Si vous avez un doute sur un prompt de classification, testez-le en inversant l’ordre des catégories : un résultat qui change révèle une fragilité de forme, pas une ambiguïté du contenu.

Ce qui a changé : la réflexion native

Les modèles actuels utilisent la réflexion adaptative, thinking: {"type": "adaptive"} : Claude décide quand et combien réfléchir, selon le paramètre effort et la complexité de la question. Sur Claude Opus 5.5, Fable 5 et Fable 5.1, elle est toujours active. La documentation est précise sur la conséquence pour cette leçon : la chaîne de pensée manuelle reste une solution de repli quand la réflexion est désactivée, mais sur Claude Fable 5.1, Fable 5, Opus 5.5, Opus 5 et Sonnet 5.5, il faut s’appuyer sur la réflexion native, à un niveau d’effort plus bas si le coût ou la latence comptent, car un prompt qui demande au modèle d’écrire son raisonnement, par exemple dans des balises <thinking>, peut être décliné. Deux conseils de la même page : préférez des consignes générales (« réfléchis à fond ») à des étapes prescrites, le raisonnement de Claude dépasse souvent ce qu’un humain prescrirait ; et demandez une auto-vérification (« avant de finir, vérifie ta réponse contre ces critères »), sauf sur Claude Opus 5, qui vérifie seul. Ce qui reste de la technique : la balise de réponse finale, <answer>, pour extraire le verdict sans le raisonnement.

response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=4000,
    thinking={"type": "adaptive", "display": "summarized"},
    output_config={"effort": "high"},
    messages=[{"role": "user", "content": "Is this review sentiment positive or negative? Put only the verdict in <answer> tags.\n\nThis movie blew my mind with its freshness and originality. In totally unrelated news, I have been living under a rock since 1900."}],
)
for block in response.content:
    if block.type == "thinking":
        print("réflexion :", block.thinking)
    elif block.type == "text":
        print("réponse :", block.text)

À vous de jouer

Exercice 6.1 : classer des courriels. Faites classer quatre courriels du tutoriel dans quatre catégories, (A) question avant-vente, (B) article cassé ou défectueux, (C) question de facturation, (D) autre (à expliquer), en ne sortant que la classification, lettre entre parenthèses et nom de la catégorie. Les courriels : un Mixmaster4000 qui fume (B), « puis-je mélanger de la peinture avec ? » (A ou D), des prélèvements qui continuent après résiliation (C), « comment je suis arrivé ici, pas doué en informatique » (D).

Exercice 6.2 : le format exact. Affinez pour que seule la lettre soit enveloppée dans <answer></answer> : la réponse au premier courriel doit contenir exactement <answer>B</answer>. Comparez les erreurs avec et sans réflexion visible (display: "summarized"), puis en inversant l’ordre des catégories.

Sources officielles : 06_Precognition_Thinking_Step_by_Step.ipynb (anthropics/prompt-eng-interactive-tutorial) · Prompting best practices (documentation Claude : « Thinking and reasoning ») · Réfléchir avant de répondre (notre cours Prompting en situations réelles, leçon 1)

Points clés à retenir

• Réfléchir avant de répondre améliore la précision sur les tâches complexes ; en 2024, il fallait l’écrire pour que cela compte.
• Claude peut être sensible à l’ordre des options : testez vos classifications en inversant l’ordre.
• Les modèles actuels raisonnent nativement (réflexion adaptative, réglée par effort) ; sur Opus 5.5 et Fable, toujours.
• Ne demandez plus un raisonnement dans des balises <thinking> : il peut être décliné ; balisez seulement la réponse finale.
• Consignes générales plutôt qu’étapes prescrites, et une auto-vérification en fin de tâche.