Contrôler l'effort de raisonnement, de ChatGPT à l'API

Doser la réflexion pour chaque tâche

Les leçons 1 à 3 vous ont donné la carte des réglages et les repères d’OpenAI. Celle-ci passe au pilotage : comment ajuster l’effort au fil du travail, en maîtriser le coût et l’automatiser dans une application. Le principe ne change pas : le niveau de raisonnement est un arbitrage, pas un curseur de qualité. Il fait varier ensemble quatre choses, le nombre de jetons de raisonnement, le temps de réponse, la profondeur d’analyse et la consommation de quota ou le coût.

Dans ChatGPT : un réglage par message

Dans Chat, le curseur Thinking de GPT-6 se règle à chaque message : vous pouvez rester sur Instant pour reformuler, passer en High pour une analyse, puis redescendre. Les niveaux élevés puisent dans des quotas propres à votre offre ; quand vous atteignez une limite, ChatGPT peut poursuivre avec un autre modèle disponible et indique, quand il le peut, l’heure de renouvellement. Dans Work et Codex, le curseur de puissance joue le même rôle, entre Faster et Smarter, avec Max et Ultra en réserve. Bonne pratique dans les deux cas : partez du réglage par défaut et ne montez que si le résultat ne suffit pas.

Dans l’API : cinq leviers

Côté développeurs, cinq paramètres de la Responses API donnent la main sur le raisonnement :

• reasoning.effort fixe le niveau, de none à max selon le modèle : GPT-6 Astra et GPT-6.1 Sol commencent à low, GPT-6.1 Terra et GPT-6 Luna acceptent none.
• reasoning.mode, standard par défaut ou pro, fait travailler davantage le modèle sans changer l’effort ; le travail supplémentaire est facturé au tarif standard du modèle, mais consomme plus de jetons.
• max_output_tokens plafonne l’ensemble des jetons générés, raisonnement compris. Trop bas, il produit des réponses incomplètes ; OpenAI conseille de réserver au moins 25 000 jetons quand vous commencez à expérimenter.
• reasoning.summary demande un résumé du raisonnement, puisque le raisonnement brut n’est jamais exposé.
• configuration_update, un élément ajouté entre deux réponses, change l’effort en cours de conversation sur les modèles GPT-6 compatibles, sans toucher au réglage de la requête initiale : le préfixe du prompt reste intact, et le cache de prompt continue de servir.

Voici à quoi ressemble ce dernier élément, inséré avant le message suivant de l’utilisateur :

{
  "type": "configuration_update",
  "reasoning": { "effort": "high" }
}

Une conversation commencée en low passe ainsi en high pour la réponse suivante et celles d’après, jusqu’à une nouvelle mise à jour.

L’impact sur les coûts

Les jetons de raisonnement sont facturés comme des jetons de sortie, et leur nombre croît vite avec le niveau : de quelques centaines à plusieurs dizaines de milliers pour un problème difficile. Le choix du modèle pèse autant : par jeton de sortie, GPT-6 Luna coûte vingt fois moins que GPT-6.1 Sol, et GPT-6 Astra cinq fois plus. Dans ChatGPT, le coût se traduit en quotas : le nombre de demandes exigeantes possibles par période.

Trois stratégies d’optimisation

La première est l’escalade : ne pas commencer au plus haut. Partez du niveau par défaut, medium dans l’API, ou plus bas pour une tâche triviale ; si la réponse est incomplète ou incorrecte, montez d’un cran ; réservez xhigh, max, le mode pro, Max et Ultra aux problèmes qui le justifient. Dans une application, configuration_update rend cette escalade possible au sein d’une même conversation.

La deuxième est le triage par type de tâche, à transformer en habitude : reformulations et classification au plus bas, rédaction et analyses simples en low, planification et jugement en medium, débogage et problèmes difficiles en high, recherches longues en xhigh, cas extrêmes en max.

La troisième consiste à associer le bon modèle au bon niveau. GPT-6.1 Sol en high ou au-delà, éventuellement en mode pro, couvre les problèmes exigeants ; GPT-6 Astra reste pour les plus difficiles ; GPT-6.1 Terra traite l’écriture, l’image et le pilotage d’applications ; GPT-6 Luna, en low ou medium, absorbe les volumes à moindre coût.

À vous de jouer

Trouver le point de rendement. Posez trois fois la question suivante, à trois niveaux (Instant, Medium puis High dans Chat, ou low, medium puis high dans l’API), et comparez la profondeur de l’analyse et, dans l’API, les jetons de raisonnement consommés.

« Une entreprise a 5 projets. Projet A : 100 k€, ROI 3,2x, risque moyen. Projet B : 250 k€, ROI 1,8x, risque faible. Projet C : 50 k€, ROI 5,1x, risque élevé. Projet D : 150 k€, ROI 2,4x, risque moyen. Projet E : 75 k€, ROI 4,0x, risque élevé. Le budget total est de 400 k€. Quels projets financer pour maximiser le ROI ajusté du risque ? Explicite la règle d’ajustement retenue. »

Repérez le niveau à partir duquel monter n’apporte plus grand-chose : c’est votre réglage pour ce type de question.

Sources officielles : Reasoning models (API OpenAI : effort, mode pro, max_output_tokens, résumés, configuration_update, facturation) · Models (efforts acceptés et prix par modèle) · GPT-6 and other models in ChatGPT (niveaux, quotas et repli dans Chat)

Points clés à retenir

• L’effort fait varier ensemble jetons, délai, profondeur et coût : c’est un arbitrage
• Dans ChatGPT, le niveau se règle à chaque message, dans la limite des quotas de l’offre
• Dans l’API : reasoning.effort, reasoning.mode, max_output_tokens, reasoning.summary et configuration_update
• Escalade, triage par tâche et bon couple modèle-niveau sont les trois leviers d’économie
• Changer l’effort en cours de conversation avec configuration_update préserve le cache de prompt