Ako fungujú modely s usudzovaním
Na tejto strane
Pod kapotou modelov, ktoré „premýšľajú“
Keď zvýšiš úroveň usudzovania, model nevygeneruje odpoveď okamžite. Najprv vytvorí tokeny usudzovania, ktoré použije na rozklad požiadavky a preskúmanie viacerých spôsobov odpovede. Pochopenie tohto mechanizmu nie je len teoretické – umožňuje ti nastaviť vhodnú úroveň, predvídať náklady a správne interpretovať výstup modelu.
Najprv premýšľaj, potom odpovedaj
Pri rýchlej úrovni (Instant v Chate, none alebo low v API) model odpovedá takmer priamo. Čím vyššiu úroveň nastavíš, tým viac tokenov minie na premýšľanie predtým, než vyprodukuje viditeľnú odpoveď. Túto fázu si môžeš predstaviť ako koncept: rozklad problému, skúmanie ciest, vylučovanie slepých uličiek, overovanie a následná syntéza. Je to užitočný mentálny model, nie oficiálny opis vnútorného fungovania; to, čo opisuje OpenAI, je model, ktorý rozkladá požiadavku a zvažuje niekoľko prístupov predtým, než odpovie.
Zober si výraz „17 × 23 + 45 ÷ 9 − 12“. Bez usudzovania je reálne riziko chyby týkajúcej sa priority operátorov. Pri vyššej úrovni si model vezme čas na spracovanie násobenia a delenia ako prvých (391 a 5), potom sčítania a odčítania (391 + 5 − 12 = 384) a pred uvedením výsledku ho overí.
Tokeny usudzovania: Neviditeľné, ale započítané
Tokeny usudzovania sa nezobrazujú v odpovedi, ale započítavajú sa. V API zaberajú miesto v kontextovom okne a sú fakturované ako výstupné tokeny. V závislosti od obtiažnosti môže model vygenerovať od niekoľkých stoviek až po niekoľko desiatok tisíc týchto tokenov. Ak sa počas usudzovania dosiahne limit výstupu (max_output_tokens), odpoveď sa vráti so stavom incomplete, niekedy ešte predtým, než sa vyprodukuje akýkoľvek viditeľný text; OpenAI odporúča pri začiatku experimentovania vyhradiť aspoň 25 000 tokenov pre usudzovanie aj odpoveď.
Surové usudzovanie nie je exponované. V API môžeš pomocou parametra reasoning.summary požiadať o zhrnutie usudzovania. V ChatGPT s modelom GPT-6 sa odpoveď môže začať zobrazovať, zatiaľ čo model stále premýšľa, a neskôr sa obohatí o detaily.
Pro, Max a Ultra: Tri spôsoby, ako dosiahnuť viac
Okrem úsilí existujú tri mechanizmy, ktoré posúvajú usudzovanie ďalej, a je dôležité si ich nemýliť.
- Režim Pro (
reasoning.mode: "pro"v API, úroveň Pro v Chate) núti model pracovať tvrdšie na náročných úlohách, ktoré znášajú vyššiu latenciu. V API sa táto extra práca fakturuje štandardnou sadzbou pre zvolený model, ale spotrebuje viac tokenov. - Max vo Work a Codex, ako aj v API (
max), dáva modelu viac času na usudzovanie pri jednej úlohe. - Ultra, dostupné len vo Work a Codex, ide nad rámec jedného agenta: prideľuje časti komplexnej úlohy podagentom, ktorí pracujú paralelne. Je to užitočné len vtedy, ak sa práca dá rozdeliť na nezávislé časti. GPT-6 Luna ide až po úroveň Max, ale nie po Ultra.
Čo usudzovanie mení a čo nemení
Vysoká úroveň usudzovania robí rozdiel pri špecifických typoch problémov: matematika a štatistika, logika a dedukcia, komplexný kód a ladenie, strategická analýza s váženými kritériami a všeobecne akákoľvek viacstupňová úloha. OpenAI preto odporúča nastavenie high pre náročné usudzovanie, komplexné ladenie a hlboké plánovanie.
To však nie je všeliek. Model sa môže pomýliť aj po usudzovaní: falošný predpoklad vedie k falošnému záveru, bez ohľadu na to, aký opatrný bol proces usudzovania. Usudzovanie zvyšuje čas odpovede aj náklady. A pri jednoduchej úlohe nepridá nič, čo by rýchla úroveň nezvládla už sama.
Vyskúšaj si to sám
Pozri sa na mechanizmus v akcii. Polož túto otázku najprv pri rýchlej úrovni a potom pri vysokej úrovni (Instant a potom High v Chate, alebo low a potom high v API): „Vlak odchádza z Paríža o 8:00 rýchlosťou 120 km/h. Ďalší odchádza z Lyonu, vzdialeného 465 km, o 8:30 rýchlosťou 150 km/h smerom do Paríža. O koľkej hodine a v akej vzdialenosti od Paríža sa stretnú?“ Over si očakávanú odpoveď sám: 10:00, 240 km od Paríža. Ak používaš API, porovnaj počet tokenov usudzovania uvedených v použití (usage) odpovede pre obe úrovne.
Oficiálne zdroje: Modely s usudzovaním (OpenAI API: tokeny usudzovania, fakturácia, kontext, zhrnutia, režim pro, úrovne úsilia) · Modely (Dokumentácia ChatGPT: Max a Ultra) · GPT-6 a ďalšie modely v ChatGPT (odpovede, ktoré sa začnú počas usudzovania)
Kľúčové poznatky
- Usudzovanie pridáva pred odpoveďou tokeny premýšľania; ich počet rastie so zvolenou úrovňou
- Tieto neviditeľné tokeny zaberajú kontext a v API sú fakturované ako výstupné tokeny
- Ponechaj dostatočnú rezervu vo výstupe, inak sa odpoveď vráti ako neúplná
- Pro núti model pracovať tvrdšie, Max mu dáva viac času, Ultra rozdeľuje prácu medzi podagentov (Work a Codex)
- Usudzovanie neimunizuje proti chybe: falošný predpoklad vedie k falošnému záveru