Controlați efortul de raționament, de la ChatGPT la API
Pe această pagină
Ajustarea reflecției pentru fiecare sarcină
Lecțiile 1 până la 3 v-au oferit harta setărilor și liniile directoare ale OpenAI. Această lecție trece la controale: cum să ajustați efortul pe măsură ce lucrați, cum să îi gestionați costul și cum să îl automatizați într-o aplicație. Principiul rămâne neschimbat: nivelul de raționament este un compromis, nu un regulator de calitate. Acesta afectează simultan patru variabile: numărul de jetoane de raționament, timpul de răspuns, profunzimea analizei și consumul de cotă sau costul.
În ChatGPT: O setare per mesaj
În Chat, cursorul Thinking (Gândire) pentru GPT-6 se ajustează per mesaj: puteți rămâne pe Instant pentru reformulare, puteți comuta pe High pentru analiză, apoi îl puteți reduce din nou. Nivelurile superioare consumă din cotele specifice planului dumneavoastră; când atingeți o limită, ChatGPT poate continua cu un alt model disponibil și, acolo unde este posibil, indică momentul resetării cotei. În Work și Codex, cursorul de putere joacă același rol, variind de la Faster la Smarter, cu Max și Ultra rezervate. Cea mai bună practică în ambele cazuri: începeți cu setarea implicită și creșteți-o doar dacă rezultatul nu este suficient.
În API: Cinci pârghii
Pentru dezvoltatori, cinci parametri în API-ul Responses vă pun în controlul raționamentului:
reasoning.effortstabilește nivelul, de lanonelamaxîn funcție de model: GPT-6 Astra și GPT-6.1 Sol încep culow, în timp ce GPT-6.1 Terra și GPT-6 Luna acceptănone.reasoning.mode,standardimplicit saupro, face modelul să lucreze mai intens fără a schimba nivelul efortului; această muncă suplimentară este facturată la tariful standard al modelului, dar consumă mai multe jetoane.max_output_tokenslimitează numărul total de jetoane generate, inclusiv raționamentul. Dacă îl setați prea jos, veți obține răspunsuri incomplete; OpenAI recomandă rezervarea a cel puțin 25.000 de jetoane când începeți să experimentați.reasoning.summarysolicită un rezumat al procesului de raționament, deoarece raționamentul brut nu este niciodată expus.configuration_update, un element inserat între două răspunsuri, schimbă nivelul efortului la mijlocul conversației pe modelele GPT-6 compatibile fără a atinge setările cererii inițiale: prefixul promptului rămâne intact, iar cache-ul promptului continuă să servească.
Iată cum arată acest ultim element, inserat înainte de următorul mesaj al utilizatorului:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
O conversație începută la low trece astfel la high pentru următorul răspuns și cele care urmează, până când are loc o altă actualizare.
Impactul asupra costurilor
Jetoanele de raționament sunt facturate ca jetoane de ieșire, iar numărul lor crește rapid odată cu nivelul: de la câteva sute la zeci de mii pentru o problemă dificilă. Alegerea modelului contează la fel de mult: per jeton de ieșire, GPT-6 Luna costă de douăzeci de ori mai puțin decât GPT-6.1 Sol, iar GPT-6 Astra costă de cinci ori mai mult. În ChatGPT, costul se traduce în cote: numărul de cereri exigente posibile per perioadă.
Trei strategii de optimizare
Prima este escaladarea: nu începeți de la vârf. Începeți cu nivelul implicit, medium în API, sau mai jos pentru o sarcină trivială; dacă răspunsul este incomplet sau incorect, urcați o treaptă; rezervați xhigh, max, modul pro, Max și Ultra pentru problemele care le justifică. Într-o aplicație, configuration_update face posibilă această escaladare într-o singură conversație.
A doua este triarea bazată pe sarcini, pe care ar trebui să o transformați într-un obicei: reformularea și clasificarea la cel mai scăzut nivel, redactarea și analizele simple la low, planificarea și judecata la medium, depanarea și problemele dificile la high, cercetarea de lungă durată la xhigh și cazurile extreme la max.
A treia este să asociați modelul potrivit cu nivelul potrivit. GPT-6.1 Sol la high sau peste, posibil în modul pro, gestionează problemele exigente; GPT-6 Astra rămâne pentru cele mai dificile; GPT-6.1 Terra gestionează scrierea, imaginile și orchestrarea aplicațiilor; GPT-6 Luna, la low sau medium, absoarbe volumul la un cost mai mic.
Pe rândul dumneavoastră
Găsiți punctul de randament descrescător. Puneți următoarea întrebare de trei ori, la trei niveluri (Instant, Medium, apoi High în Chat, sau low, medium, apoi high în API) și comparați profunzimea analizei și, în API, jetoanele de raționament consumate.
“O companie are 5 proiecte. Proiectul A: 100.000 €, ROI 3,2x, risc mediu. Proiectul B: 250.000 €, ROI 1,8x, risc scăzut. Proiectul C: 50.000 €, ROI 5,1x, risc ridicat. Proiectul D: 150.000 €, ROI 2,4x, risc mediu. Proiectul E: 75.000 €, ROI 4,0x, risc ridicat. Bugetul total este de 400.000 €. Ce proiecte ar trebui finanțate pentru a maximiza ROI ajustat la risc? Enunțați explicit regula de ajustare utilizată.”
Identificați nivelul la care creșterea ulterioară aduce puțină valoare: aceasta este setarea dumneavoastră pentru acest tip de întrebare.
Surse oficiale: Modele de raționament (API OpenAI: effort, pro mode, max_output_tokens, summaries, configuration_update, billing) · Modele (efforturi acceptate și prețuri per model) · GPT-6 și alte modele în ChatGPT (niveluri, cote și fallback în Chat)
Puncte cheie
- Efortul variază simultan jetoanele, latența, profunzimea și costul: este un compromis
- În ChatGPT, nivelul se ajustează per mesaj, în limitele cotelor planului
- În API:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryșiconfiguration_update - Escaladarea, triarea sarcinilor și asocierea corectă model-nivel sunt cele trei pârghii pentru economisire
- Schimbarea efortului la mijlocul conversației cu
configuration_updatepăstrează cache-ul promptului