Jak fungují modely s usuzováním
Na této stránce
Pod kapotou modelů, které „přemýšlejí“
Když zvýšíš úroveň usuzování, model nevygeneruje odpověď okamžitě. Nejprve vytvoří tokeny usuzování, které využije k rozkladu požadavku a prozkoumání různých způsobů odpovědi. Pochopení tohoto mechanismu není jen teoretické – právě ono ti umožňuje správně nastavit úroveň, předvídat náklady a správně interpretovat výstup modelu.
Nejdřív přemýšlej, pak odpovídej
Při rychlé úrovni (Instant v Chatu, none nebo low v API) model odpovídá téměř přímo. Čím vyšší úroveň nastavíš, tím více tokenů spotřebuje na přemýšlení před tím, než vytvoří viditelnou odpověď. Tuto fázi si můžeš představit jako koncept: rozklad problému, zkoumání možných cest, vyřazování slepých uliček, ověřování a následná syntéza. Je to užitečný mentální model, nikoliv oficiální popis vnitřního fungování; OpenAI popisuje model, který rozkládá požadavek a zvažuje několik přístupů před tím, než odpoví.
Vezmi si výraz „17 × 23 + 45 ÷ 9 − 12“. Bez usuzování je riziko chyby ohledně priority operátorů reálné. Při vyšší úrovni si model vezme čas na zpracování násobení a dělení jako prvních (391 a 5), poté sčítání a odčítání (391 + 5 − 12 = 384) a před uvedením výsledku jej ověří.
Tokeny usuzování: Neviditelné, ale započítávané
Tokeny usuzování se v odpovědi nezobrazují, ale započítávají se. V API zabírají místo v kontextovém okně a jsou fakturovány jako výstupní tokeny. V závislosti na obtížnosti může model vygenerovat od několika set po několik desítek tisíc těchto tokenů. Pokud je během usuzování dosaženo limitu výstupu (max_output_tokens), odpověď se vrátí se stavem incomplete, někdy ještě před vygenerováním jakéhokoliv viditelného textu; OpenAI doporučuje při zahájení experimentování vyhradit pro usuzování a odpověď alespoň 25 000 tokenů.
Surové usuzování není zpřístupněno. V API můžeš pomocí parametru reasoning.summary požádat o shrnutí usuzování. V ChatGPT s modelem GPT-6 může odpověď začít, zatímco model stále přemýšlí, a následně se obohatit o další detaily.
Pro, Max a Ultra: Tři způsoby, jak dosáhnout více
Kromě úrovní úsilí existují tři mechanismy, které posouvají usuzování dále, a je důležité si je neplést.
- Režim Pro (
reasoning.mode: "pro"v API, úroveň Pro v Chatu) nutí model pracovat tvrději na náročných úlohách, které snesou vyšší latenci. V API je tato extra práce fakturována standardní sazbou pro zvolený model, ale spotřebuje více tokenů. - Max ve Work a Codex, stejně jako v API (
max), dává modelu více času na usuzování u jedné úlohy. - Ultra, dostupné pouze ve Work a Codex, jde nad rámec jednoho agenta: přiděluje části komplexní úlohy dílčím agentům, kteří pracují paralelně. Je to užitečné pouze tehdy, pokud lze práci rozdělit na nezávislé části. GPT-6 Luna dosahuje úrovně Max, ale nikoliv Ultra.
Co usuzování mění a co nemění
Vysoká úroveň usuzování dělá rozdíl u specifických typů problémů: matematika a statistika, logika a dedukce, složitý kód a ladění, strategická analýza s váženými kritérii a obecně jakékoli víceúrovňové úlohy. OpenAI proto doporučuje high pro náročné usuzování, složité ladění a hluboké plánování.
To však není všelék. Model se může po usuzování stále mýlit: falešný předpoklad vede k falešnému závěru, bez ohledu na to, jak pečlivý byl proces usuzování. Usuzování zvyšuje dobu odezvy a náklady. A u jednoduché úlohy nepřidá nic, co by rychlá úroveň nezvládla již dříve.
Vyzkoušej si to sám
Podívej se na mechanismus v akci. Polož tuto otázku nejprve na rychlé úrovni a poté na vysoké úrovni (Instant a poté High v Chatu, nebo low a poté high v API): „Vlak vyjíždí z Paříže v 8:00 rychlostí 120 km/h. Další vyjíždí z Lyonu, vzdáleného 465 km, v 8:30 rychlostí 150 km/h směrem k Paříži. V kolik hodin a v jaké vzdálenosti od Paříže se setkají?“ Ověř si očekávanou odpověď sám: 10:00, 240 km od Paříže. Pokud používáš API, porovnej počet tokenů usuzování uvedených ve využití odpovědi pro obě úrovně.
Oficiální zdroje: Modely s usuzováním (OpenAI API: tokeny usuzování, fakturace, kontext, shrnutí, režim pro, úrovně úsilí) · Modely (Dokumentace ChatGPT: Max a Ultra) · GPT-6 a další modely v ChatGPT (odpovědi, které začínají během usuzování)
Klíčové poznatky
- Usuzování přidává před odpovědí myslící tokeny; jejich počet roste se zvolenou úrovní
- Tyto neviditelné tokeny zabírají kontext a v API jsou fakturovány jako výstupní tokeny
- Ponech dostatečnou rezervu pro výstup, jinak se odpověď vrátí jako neúplná
- Pro nutí model pracovat tvrději, Max mu dává více času, Ultra rozděluje práci mezi dílčí agenty (Work a Codex)
- Usuzování nechrání před chybami: falešný předpoklad vede k falešnému závěru