Kontroliraj napor rezoniranja, od ChatGPT-a do API-ja
Na ovoj stranici
Podešavanje refleksije za svaki zadatak
Lekcije 1 do 3 dale su ti mapu postavki i smjernice OpenAI-ja. Ova lekcija prelazi na kontrole: kako prilagoditi napor tijekom rada, upravljati njegovim troškom i automatizirati ga unutar aplikacije. Načelo ostaje nepromijenjeno: razina rezoniranja je kompromis, a ne klizač kvalitete. Istovremeno utječe na četiri varijable: broj tokena za rezoniranje, vrijeme odgovora, dubinu analize te potrošnju kvote ili trošak.
U ChatGPT-u: Postavka po poruci
U chatu, klizač Razmišljanje za GPT-6 prilagođava se po poruci: možeš ostati na Trenutno za preformuliranje, prijeći na Visoko za analizu, a zatim ga ponovno spustiti. Više razine troše kvote specifične za tvoj plan; kada dosegneš ograničenje, ChatGPT može nastaviti s drugim dostupnim modelom i, gdje je moguće, naznačiti kada se kvota resetira. U radnim okruženjima i Codexu, klizač snage ima istu ulogu, krećući se od Brže do Pametnije, dok su Max i Ultra zadržani u rezervi. Najbolja praksa u oba slučaja: započni s zadanim postavkama i povećaj ih samo ako rezultat nije dovoljan.
U API-ju: Pet poluga
Za programere, pet parametara u Responses API-ju stavlja te pod kontrolu rezoniranja:
reasoning.effortpostavlja razinu, odnonedomaxovisno o modelu: GPT-6 Astra i GPT-6.1 Sol kreću slow, dok GPT-6.1 Terra i GPT-6 Luna prihvaćajunone.reasoning.mode, prema zadanim postavkamastandardilipro, tjera model da radi napornije bez promjene razine napora; taj dodatni rad naplaćuje se po standardnoj stopi modela, ali troši više tokena.max_output_tokensograničava ukupan broj generiranih tokena, uključujući rezoniranje. Ako ga postaviš prenisko, dobit ćeš nepotpune odgovore; OpenAI preporučuje rezervirati najmanje 25.000 tokena kada počneš eksperimentirati.reasoning.summaryzahtijeva sažetak procesa rezoniranja, budući da sirovo rezoniranje nikada nije izloženo.configuration_update, element umetnut između dva odgovora, mijenja razinu napora usred razgovora na kompatibilnim GPT-6 modelima bez diranja početnih postavki zahtjeva: prefiks prompta ostaje netaknut, a predmemorija prompta nastavlja služiti.
Evo kako taj posljednji element izgleda, umetnut prije sljedeće korisničke poruke:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Razgovor započet na low tako prelazi na high za sljedeći odgovor i one koji slijede, sve dok se ne dogodi još jedno ažuriranje.
Utjecaj na troškove
Tokeni za rezoniranje naplaćuju se kao izlazni tokeni, a njihov broj brzo raste s razinom: od nekoliko stotina do desetaka tisuća za težak problem. Izbor modela jednako je važan: po izlaznom tokenu, GPT-6 Luna košta dvadeset puta manje od GPT-6.1 Sol, a GPT-6 Astra košta pet puta više. U ChatGPT-u, trošak se prevodi u kvote: broj zahtjevnih zahtjeva mogućih po razdoblju.
Tri strategije optimizacije
Prva je eskalacija: nemoj kretati s vrha. Započni s zadanom razinom, medium u API-ju, ili nižom za trivijalan zadatak; ako je odgovor nepotpun ili netočan, podigni se za jednu razinu; rezerviraj xhigh, max, pro način rada, Max i Ultra za probleme koji to opravdavaju. U aplikaciji, configuration_update omogućuje ovu eskalaciju unutar jednog razgovora.
Druga je trižaža temeljena na zadatku, koju bi trebao usvojiti kao naviku: preformuliranje i klasifikacija na najnižoj razini, izrada nacrta i jednostavne analize na low, planiranje i procjena na medium, otklanjanje pogrešaka i teški problemi na high, dugoročna istraživanja na xhigh, a ekstremni slučajevi na max.
Treća je uparivanje pravog modela s pravom razinom. GPT-6.1 Sol na high ili više, eventualno u pro načinu rada, rješava zahtjevne probleme; GPT-6 Astra ostaje za najteže; GPT-6.1 Terra rukuje pisanjem, slikama i orkestracijom aplikacija; GPT-6 Luna, na low ili medium, apsorbira volumen po nižoj cijeni.
Tvoj red
Pronađi točku opadajućih prinosa. Postavi sljedeće pitanje tri puta, na tri razine (Trenutno, Srednje, zatim Visoko u Chatu, ili low, medium, zatim high u API-ju) i usporedi dubinu analize te, u API-ju, potrošene tokene za rezoniranje.
“Tvrtka ima 5 projekata. Projekt A: 100.000 €, ROI 3,2x, srednji rizik. Projekt B: 250.000 €, ROI 1,8x, nizak rizik. Projekt C: 50.000 €, ROI 5,1x, visok rizik. Projekt D: 150.000 €, ROI 2,4x, srednji rizik. Projekt E: 75.000 €, ROI 4,0x, visok rizik. Ukupni proračun iznosi 400.000 €. Koje projekte treba financirati kako bi se maksimizirao ROI prilagođen riziku? Eksplicitno navedi korišteno pravilo prilagodbe.”
Identificiraj razinu na kojoj daljnje povećanje dodaje malo vrijednosti: to je tvoja postavka za ovu vrstu pitanja.
Službeni izvori: Reasoning modeli (OpenAI API: effort, pro mode, max_output_tokens, summaries, configuration_update, billing) · Modeli (prihvaćeni napori i cijene po modelu) · GPT-6 i drugi modeli u ChatGPT-u (razine, kvote i fallback u Chatu)
Ključne točke
- Napor zajedno mijenja tokene, latenciju, dubinu i trošak: to je kompromis
- U ChatGPT-u, razina se prilagođava po poruci, unutar kvota plana
- U API-ju:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryiconfiguration_update - Eskalacija, trijaža zadataka i ispravno uparivanje modela i razine tri su poluge za uštedu
- Promjena napora usred razgovora s
configuration_updatečuva predmemoriju prompta