Ovládejte úsilí o odvozování, od ChatGPT po API
Na této stránce
Nastavení reflexe pro každý úkol
Lekce 1 až 3 ti poskytly mapu nastavení a pokynů společnosti OpenAI. Tato lekce přechází k ovládacím prvkům: jak upravovat úsilí během práce, řídit jeho náklady a automatizovat jej v rámci aplikace. Princip zůstává nezměněn: úroveň odvozování je kompromis, nikoliv posuvník kvality. Současně ovlivňuje čtyři proměnné: počet tokenů pro odvozování, dobu odezvy, hloubku analýzy a spotřebu kvóty nebo náklady.
V ChatGPT: Nastavení pro každou zprávu
V chatu posuvník Thinking (Přemýšlení) pro GPT-6 upravuje úroveň pro každou zprávu: můžeš zůstat na režimu Instant pro přeformulování, přepnout na High pro analýzu a poté jej opět snížit. Vyšší úrovně čerpají z kvót specifických pro tvůj plán; když dosáhneš limitu, ChatGPT může pokračovat s jiným dostupným modelem a kde je to možné, indikuje, kdy se kvóta resetuje. V prostředí Work a Codex hraje posuvník výkonu stejnou roli, sahající od Faster (Rychlejší) po Smarter (Chytřejší), přičemž Max a Ultra jsou drženy v záloze. Nejlepší postup v obou případech: začni s výchozím nastavením a zvyšuj jej pouze tehdy, pokud výsledek není dostatečný.
V API: Pět pák
Pro vývojáře pět parametrů v Responses API přebírá kontrolu nad odvozováním:
reasoning.effortnastavuje úroveň, odnonepomaxv závislosti na modelu: GPT-6 Astra a GPT-6.1 Sol začínají nalow, zatímco GPT-6.1 Terra a GPT-6 Luna přijímajínone.reasoning.mode, ve výchozím nastavenístandardnebopro, nutí model pracovat tvrději bez změny úrovně úsilí; tato extra práce je fakturována standardní sazbou modelu, ale spotřebovává více tokenů.max_output_tokensomezuje celkový počet vygenerovaných tokenů, včetně těch pro odvozování. Pokud jej nastavíš příliš nízko, získáš neúplné odpovědi; OpenAI doporučuje při experimentování vyhradit alespoň 25 000 tokenů.reasoning.summarypožaduje shrnutí procesu odvozování, protože surové odvozování není nikdy zpřístupněno.configuration_update, prvek vložený mezi dvě odpovědi, mění úroveň úsilí uprostřed konverzace na kompatibilních modelech GPT-6, aniž by se dotkl počátečního nastavení požadavku: prefix promptu zůstává nedotčen a cache promptu nadále slouží.
Takto vypadá tento poslední prvek vložený před další zprávu uživatele:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Konverzace zahájená na úrovni low se tak přesune na high pro další odpověď a ty následující, dokud nedojde k další aktualizaci.
Dopad na náklady
Tokeny pro odvozování jsou fakturovány jako výstupní tokeny a jejich počet rychle roste s úrovní: od několika set po desítky tisíc u obtížného problému. Volba modelu záleží stejně tak: za výstupní token stojí GPT-6 Luna dvacetkrát méně než GPT-6.1 Sol a GPT-6 Astra stojí pětkrát více. V ChatGPT se náklady promítají do kvót: počtu náročných požadavků možných za dané období.
Tři strategie optimalizace
První je eskalace: nezačínej na vrcholu. Začni s výchozí úrovní, v API medium, nebo nižší pro triviální úkol; pokud je odpověď neúplná nebo nesprávná, posuň se o stupeň výše; úrovně xhigh, max, režim pro, Max a Ultra si rezervuj pro problémy, které je ospravedlňují. V aplikaci umožňuje tuto eskalaci v rámci jedné konverzace prvek configuration_update.
Druhou je třídění podle úkolů, které by sis měl osvojit jako zvyk: přeformulování a klasifikace na nejnižší úrovni, návrhy a jednoduché analýzy na low, plánování a úsudky na medium, ladění a obtížné problémy na high, dlouhodobý výzkum na xhigh a extrémní případy na max.
Třetí je spárovat správný model se správnou úrovní. GPT-6.1 Sol na úrovni high nebo vyšší, případně v režimu pro, zvládá náročné problémy; GPT-6 Astra zůstává pro ty nejobtížnější; GPT-6.1 Terra zvládá psaní, obraz a orchestraci aplikací; GPT-6 Luna, na úrovni low nebo medium, absorbuje velký objem za nižší cenu.
Teď jsi na řadě
Najdi bod klesajících výnosů. Polož následující otázku třikrát, na třech úrovních (Instant, Medium, poté High v Chatu, nebo low, medium, poté high v API) a porovnej hloubku analýzy a v případě API spotřebované tokeny pro odvozování.
“Společnost má 5 projektů. Projekt A: 100 tis. €, ROI 3,2x, střední riziko. Projekt B: 250 tis. €, ROI 1,8x, nízké riziko. Projekt C: 50 tis. €, ROI 5,1x, vysoké riziko. Projekt D: 150 tis. €, ROI 2,4x, střední riziko. Projekt E: 75 tis. €, ROI 4,0x, vysoké riziko. Celkový rozpočet je 400 tis. €. Které projekty by měly být financovány pro maximalizaci rizikově upraveného ROI? Explicitně uveďte použité pravidlo úpravy.”
Identifikuj úroveň, při které další zvyšování přidává malou hodnotu: to je tvé nastavení pro tento typ otázek.
Oficiální zdroje: Modely pro odvozování (OpenAI API: effort, pro mode, max_output_tokens, summaries, configuration_update, billing) · Modely (přijímané úrovně úsilí a ceník za model) · GPT-6 a další modely v ChatGPT (úrovně, kvóty a záložní řešení v Chatu)
Klíčové poznatky
- Úsilí společně mění tokeny, latenci, hloubku a náklady: je to kompromis
- V ChatGPT se úroveň upravuje pro každou zprávu v rámci kvót plánu
- V API:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryaconfiguration_update - Eskalace, třídění úkolů a správné spárování modelu s úrovní jsou tři páky pro úspory
- Změna úsilí uprostřed konverzace pomocí
configuration_updatezachovává cache promptu