De inspanning voor redeneren regelen, van ChatGPT tot de API
Op deze pagina
Reflectie afstemmen op elke taak
In de lessen 1 tot en met 3 heeft u de kaart van de instellingen en de richtlijnen van OpenAI gekregen. Deze les gaat over de bedieningselementen: hoe u de inspanning tijdens het werk aanpast, de kosten beheert en dit automatiseert binnen een applicatie. Het principe blijft ongewijzigd: het redeneerniveau is een afweging, geen kwaliteitsknop. Het beïnvloedt gelijktijdig vier variabelen: het aantal redeneertokens, de responstijd, de diepgang van de analyse en het verbruik van quota of de kosten.
In ChatGPT: een instelling per bericht
In Chat past de schuifbalk Thinking voor GPT-6 zich per bericht aan: u kunt op Instant blijven om tekst te herformuleren, overschakelen naar High voor analyse en vervolgens weer terugschroeven. Hogere niveaus putten uit quota die specifiek zijn voor uw abonnement; wanneer u een limiet bereikt, kan ChatGPT doorgaan met een ander beschikbaar model en, waar mogelijk, aangeven wanneer het quota wordt gereset. In Work en Codex speelt de vermogensschuifbalk dezelfde rol, variërend van Faster tot Smarter, waarbij Max en Ultra in reserve worden gehouden. De beste werkwijze is in beide gevallen: begin met de standaardinstelling en verhoog deze alleen als het resultaat ontoereikend is.
In de API: vijf hendels
Voor ontwikkelaars geven vijf parameters in de Responses API u controle over het redeneerproces:
reasoning.effortstelt het niveau in, vannonetotmax, afhankelijk van het model: GPT-6 Astra en GPT-6.1 Sol starten bijlow, terwijl GPT-6.1 Terra en GPT-6 Lunanoneaccepteren.reasoning.mode, standaardstandardofpro, laat het model harder werken zonder het inspanningsniveau te wijzigen; dit extra werk wordt gefactureerd tegen het standaardtarief van het model, maar verbruikt meer tokens.max_output_tokensbegrenst het totale aantal gegenereerde tokens, inclusief redenering. Stelt u deze te laag in, dan krijgt u onvolledige antwoorden; OpenAI raadt aan om bij het experimenteren minimaal 25.000 tokens te reserveren.reasoning.summaryvraagt om een samenvatting van het redeneerproces, aangezien ruwe redenering nooit wordt blootgelegd.configuration_update, een element dat tussen twee antwoorden wordt ingevoegd, wijzigt het inspanningsniveau midden in een gesprek op compatibele GPT-6-modellen zonder de initiële verzoekinstellingen aan te tasten: het prompt-voorvoegsel blijft intact en de prompt-cache blijft dienst doen.
Zo ziet dat laatste element eruit, ingevoegd vóór het volgende bericht van de gebruiker:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Een gesprek dat begon op low schakelt zo over naar high voor het volgende antwoord en de daaropvolgende, totdat er een nieuwe update plaatsvindt.
De impact op de kosten
Redeneertokens worden gefactureerd als output-tokens en hun aantal groeit snel met het niveau: van enkele honderden tot tienduizenden voor een moeilijk probleem. De modelkeuze is minstens zo belangrijk: per output-token kost GPT-6 Luna twintig keer minder dan GPT-6.1 Sol, en GPT-6 Astra kost vijf keer meer. In ChatGPT vertaalt de kostenpost zich naar quota: het aantal veeleisende verzoeken dat per periode mogelijk is.
Drie optimalisatiestrategieën
De eerste is escalatie: begin niet aan de top. Start met het standaardniveau, medium in de API, of lager voor een triviale taak; als het antwoord onvolledig of onjuist is, gaat u één stap omhoog; reserveer xhigh, max, de pro-modus, Max en Ultra voor problemen die dit rechtvaardigen. In een applicatie maakt configuration_update deze escalatie binnen één gesprek mogelijk.
De tweede is taakgebaseerde triage, wat u tot een gewoonte moet maken: herformulering en classificatie op het laagste niveau, opstellen en eenvoudige analyses op low, planning en oordeelsvorming op medium, debuggen en moeilijke problemen op high, langdurig onderzoek op xhigh en extreme gevallen op max.
De derde is om het juiste model met het juiste niveau te combineren. GPT-6.1 Sol op high of hoger, eventueel in pro-modus, handelt veeleisende problemen af; GPT-6 Astra blijft voor de moeilijkste gevallen; GPT-6.1 Terra verzorgt schrijven, beeld en applicatie-orchestratie; GPT-6 Luna, op low of medium, absorbeert volume tegen lagere kosten.
Aan de slag
Vind het punt van afnemende meeropbrengst. Stel de volgende vraag drie keer, op drie niveaus (Instant, Medium en vervolgens High in Chat, of low, medium en vervolgens high in de API), en vergelijk de diepgang van de analyse en, in de API, het verbruik aan redeneertokens.
“Een bedrijf heeft 5 projecten. Project A: €100k, ROI 3,2x, gemiddeld risico. Project B: €250k, ROI 1,8x, laag risico. Project C: €50k, ROI 5,1x, hoog risico. Project D: €150k, ROI 2,4x, gemiddeld risico. Project E: €75k, ROI 4,0x, hoog risico. Het totale budget is €400k. Welke projecten moeten worden gefinancierd om de risicogecorrigeerde ROI te maximaliseren? Vermeld expliciet de gebruikte aanpassingsregel.”
Identificeer het niveau waarop een verdere verhoging weinig waarde toevoegt: dat is uw instelling voor dit type vraag.
Officiële bronnen: Redeneermodellen (OpenAI API: effort, pro mode, max_output_tokens, summaries, configuration_update, facturatie) · Modellen (geaccepteerde inspanningsniveaus en prijzen per model) · GPT-6 en andere modellen in ChatGPT (niveaus, quota en fallback in Chat)
Belangrijkste punten
- Inspanning varieert tokens, latentie, diepgang en kosten gezamenlijk: het is een afweging
- In ChatGPT past het niveau zich per bericht aan, binnen de quota van het abonnement
- In de API:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryenconfiguration_update - Escalatie, taaktriage en de juiste combinatie van model en niveau zijn de drie hendels voor besparingen
- Het wijzigen van de inspanning midden in een gesprek met
configuration_updatebehoudt de prompt-cache