Ovládanie úsilia o uvažovanie, od ChatGPT po API
Na tejto strane
Nastavenie reflexie pre každú úlohu
Lekcie 1 až 3 ti poskytli mapu nastavení a usmernení OpenAI. Táto lekcia prechádza k ovládacím prvkom: ako upravovať úsilie počas práce, riadiť jeho náklady a automatizovať ho v rámci aplikácie. Princíp zostáva nezmenený: úroveň uvažovania je kompromis, nie posuvník kvality. Súčasne ovplyvňuje štyri premenné: počet tokenov určených na uvažovanie, čas odozvy, hĺbku analýzy a spotrebu kvóty alebo náklady.
V ChatGPT: Nastavenie pre každú správu
V chate posuvník Thinking (Uvažovanie) pre model GPT-6 upravuje úsilie pre každú správu zvlášť: môžeš zostať na režime Instant na preformulovanie, prepnuť na High pre analýzu a následne ho znížiť. Vyššie úrovne čerpajú z kvót špecifických pre tvoj plán; keď dosiahneš limit, ChatGPT môže pokračovať s iným dostupným modelom a tam, kde je to možné, indikuje, kedy sa kvóta resetuje. V prostrediach Work a Codex zohráva posuvník výkonu rovnakú úlohu, pričom siaha od Faster po Smarter, zatiaľ čo Max a Ultra sú držané v zálohe. Najlepšia prax v oboch prípadoch: začni s predvoleným nastavením a zvyšuj ho len vtedy, ak výsledok nie je dostatočný.
V API: Päť pák
Pre vývojárov poskytuje Responses API päť parametrov, ktoré ti dávajú kontrolu nad uvažovaním:
reasoning.effortnastavuje úroveň, odnonepomaxv závislosti od modelu: GPT-6 Astra a GPT-6.1 Sol začínajú nalow, zatiaľ čo GPT-6.1 Terra a GPT-6 Luna akceptujúnone.reasoning.mode, predvolenestandardalebopro, núti model pracovať tvrdšie bez zmeny úrovne úsilia; táto extra práca sa fakturuje štandardnou sadzbou modelu, ale spotrebúva viac tokenov.max_output_tokensobmedzuje celkový počet vygenerovaných tokenov vrátane tých určených na uvažovanie. Ak ho nastavíš príliš nízko, dostaneš neúplné odpovede; OpenAI odporúča pri začiatku experimentovania vyhradiť aspoň 25 000 tokenov.reasoning.summaryvyžaduje zhrnutie procesu uvažovania, keďže surové uvažovanie nie je nikdy exponované.configuration_update, prvok vložený medzi dve odpovede, mení úroveň úsilia uprostred konverzácie na kompatibilných modeloch GPT-6 bez dotyku s nastaveniami pôvodnej požiadavky: prefix promptu zostáva nedotknutý a cache promptu naďalej slúži.
Takto vyzerá tento posledný prvok vložený pred ďalšiu správu používateľa:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Konverzácia začatá na úrovni low sa tak prepne na high pre ďalšiu odpoveď a tie nasledujúce, kým nedôjde k ďalšej aktualizácii.
Dopad na náklady
Tokeny určené na uvažovanie sa fakturujú ako výstupné tokeny a ich počet rýchlo rastie s úrovňou: od niekoľkých stoviek po desaťtisíce pri náročnom probléme. Výber modelu záleží rovnako: za výstupný token stojí GPT-6 Luna dvadsaťkrát menej ako GPT-6.1 Sol a GPT-6 Astra stojí päťkrát viac. V ChatGPT sa náklady premietajú do kvót: počtu náročných požiadaviek možných za určité obdobie.
Tri stratégie optimalizácie
Prvou je eskalácia: nezačínaj na vrchole. Začni s predvolenou úrovňou, medium v API, alebo nižšou pre triviálnu úlohu; ak je odpoveď neúplná alebo nesprávna, posuň sa o stupeň vyššie; úrovne xhigh, max, režim pro, Max a Ultra si nechaj pre problémy, ktoré si ich vyžadujú. V aplikácii umožňuje túto eskaláciu v rámci jednej konverzácie prvok configuration_update.
Druhou je triedenie podľa úloh, ktoré by si si mal osvojiť ako zvyk: preformulovanie a klasifikácia na najnižšej úrovni, tvorba konceptov a jednoduché analýzy na low, plánovanie a úsudok na medium, ladenie chýb a náročné problémy na high, dlhodobý výskum na xhigh a extrémne prípady na max.
Treťou je spárovať správny model so správnou úrovňou. GPT-6.1 Sol na úrovni high alebo vyššej, prípadne v režime pro, zvláda náročné problémy; GPT-6 Astra zostáva pre tie najťažšie; GPT-6.1 Terra zvláda písanie, prácu s obrázkami a orchestráciu aplikácií; GPT-6 Luna na úrovni low alebo medium absorbuje veľké objemy za nižšie náklady.
Teraz si na rade ty
Nájdi bod klesajúcich výnosov. Polož nasledujúcu otázku trikrát, na troch úrovniach (Instant, Medium a potom High v Chate, alebo low, medium a potom high v API) a porovnaj hĺbku analýzy a v prípade API aj spotrebované tokeny určené na uvažovanie.
“Spoločnosť má 5 projektov. Projekt A: 100 000 €, ROI 3,2x, stredné riziko. Projekt B: 250 000 €, ROI 1,8x, nízke riziko. Projekt C: 50 000 €, ROI 5,1x, vysoké riziko. Projekt D: 150 000 €, ROI 2,4x, stredné riziko. Projekt E: 75 000 €, ROI 4,0x, vysoké riziko. Celkový rozpočet je 400 000 €. Ktoré projekty by sa mali financovať na maximalizáciu ROI upravenej o riziko? Explicitne uveď použité pravidlo úpravy.”
Identifikuj úroveň, pri ktorej ďalšie zvyšovanie pridáva len malú hodnotu: to je tvoje nastavenie pre tento typ otázok.
Oficiálne zdroje: Reasoning models (OpenAI API: effort, pro mode, max_output_tokens, summaries, configuration_update, billing) · Models (akceptované úrovne úsilia a ceny za model) · GPT-6 and other models in ChatGPT (úrovne, kvóty a záložné riešenia v Chate)
Kľúčové poznatky
- Úsilie mení tokeny, latenciu, hĺbku a náklady súčasne: je to kompromis
- V ChatGPT sa úroveň upravuje pre každú správu v rámci kvót plánu
- V API:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryaconfiguration_update - Eskalácia, triedenie úloh a správne spárovanie modelu s úrovňou sú tri páky pre úspory
- Zmena úsilia uprostred konverzácie pomocou
configuration_updatezachováva cache promptu