Kako delujejo modeli za sklepanje
Na tej strani
Pod pokrovom modelov, ki „mislijo”
Ko povečaš raven sklepanja, model ne ustvari odgovora takoj. Najprej proizvede žetone za sklepanje, ki jih uporabi za razčlenitev zahteve in raziskovanje različnih načinov odziva. Razumevanje tega mehanizma ni le teoretično – prav to ti omogoča, da ustrezno nastaviš raven, predvidiš stroške in pravilno razlagaš izhod modela.
Najprej pomisli, nato odgovori
Pri hitri ravni (Instant v Chatu, none ali low v API-ju) model odgovori skoraj neposredno. Višja kot je nastavljena raven, več žetonov porabi za razmišljanje, preden ustvari vidni odgovor. To fazo si lahko predstavljaš kot osnutek: razčlenitev problema, raziskovanje poti, zavrnitev slepih ulic, preverjanje in nato sinteza. To je koristen miselni model, ne uradni opis notranjega delovanja; kar OpenAI opisuje, je model, ki razčleni zahtevo in pred odgovorom pretehta več pristopov.
Vzemi izraz „17 × 23 + 45 ÷ 9 − 12”. Brez sklepanja je tveganje napake glede vrstnega reda operacij realno. Pri višji ravni si model vzame čas, da najprej obdela množenje in deljenje (391 in 5), nato seštevanje in odštevanje (391 + 5 − 12 = 384) ter pred navedbo rezultata preveri svoj izračun.
Žetoni za sklepanje: nevidni, a obračunani
Žetoni za sklepanje se ne prikažejo v odgovoru, vendar se štejejo. V API-ju zavzemajo prostor v oknu konteksta in so obračunani kot izhodni žetoni. Glede na težavnost lahko model ustvari od nekaj sto do več deset tisoč takih žetonov. Če med sklepanjem dosežeš omejitev izhoda (max_output_tokens), se odgovor vrne s stanjem incomplete, včasih še preden je bil ustvarjen kakršen koli vidni besedilni del; OpenAI priporoča, da ob začetku eksperimentiranja rezerviraš vsaj 25.000 žetonov za sklepanje in odgovor.
Surovo sklepanje ni razkrito. V API-ju lahko zahtevaš povzetek sklepanja z uporabo parametra reasoning.summary. V ChatGPT z GPT-6 se lahko odgovor začne, medtem ko model še razmišlja, in se kasneje obogati s podrobnostmi.
Pro, Max in Ultra: trije načini za več
Poleg ravni napora obstajajo trije mehanizmi, ki dodatno poglobijo sklepanje, in pomembno je, da jih ne zamenjuješ.
- Način Pro (
reasoning.mode: "pro"v API-ju, raven Pro v Chatu) prisili model, da trdo dela pri težkih nalogah, ki dopuščajo večjo zakasnitev. V API-ju je to dodatno delo obračunano po standardni tarifi za izbrani model, vendar porabi več žetonov. - Max, v Work in Codex ter v API-ju (
max), modelu da več časa za sklepanje pri eni sami nalogi. - Ultra, samo v Work in Codex, gre dlje od enega samega agenta: dele kompleksne naloge dodeli podagentom, ki delajo vzporedno. Uporaben je le, če je delo mogoče razdeliti na neodvisne dele. GPT-6 Luna doseže raven Max, ne pa Ultra.
Kaj sklepanje spremeni in kaj ne
Visoka raven sklepanja naredi razliko pri specifičnih družinah problemov: matematika in statistika, logika in dedukcija, kompleksna koda in razhroščevanje, strateška analiza s tehtanimi merili in na splošno vsaka večstopenjska naloga. OpenAI zato za težko sklepanje, kompleksno razhroščevanje in globoko načrtovanje priporoča high.
Vendar to ni čarobna palica. Model lahko kljub sklepanju še vedno naredi napako: napačna predpostavka vodi do napačnega zaključka, ne glede na to, kako previden je postopek sklepanja. Sklepanje poveča čas odziva in stroške. Pri preprosti nalogi pa ne doda ničesar, kar hitra raven ne bi že zmogla.
Preizkusi sam
Oglej si mehanizem v akciji. To vprašanje najprej zastavi pri hitri ravni, nato pri visoki ravni (Instant nato High v Chatu ali low nato high v API-ju): „Vlak odpelje iz Pariza ob 8.00 s hitrostjo 120 km/h. Drugi odpelje iz Lyona, oddaljenega 465 km, ob 8.30 s hitrostjo 150 km/h proti Parizu. Ob katerem času in na kakšni razdalji od Pariza se srečata?” Sam preveri pričakovani odgovor: 10.00, 240 km od Pariza. Če uporabljaš API, primerjaj število žetonov za sklepanje, navedenih v uporabi odgovora za obe ravni.
Uradni viri: Modeli za sklepanje (API OpenAI: žetoni za sklepanje, obračunavanje, kontekst, povzetki, način pro, ravni napora) · Modeli (dokumentacija ChatGPT: Max in Ultra) · GPT-6 in drugi modeli v ChatGPT (odgovori, ki se začnejo med sklepanjem)
Ključne ugotovitve
- Sklepanje doda žetone za razmišljanje pred odgovorom; njihovo število narašča z izbrano ravnijo
- Ti žetoni so nevidni, zavzemajo kontekst in so v API-ju obračunani kot izhodni žetoni
- Dovoli zadostno rezervo izhoda, sicer se bo odgovor vrnil kot nepopoln
- Pro prisili model k težjemu delu, Max mu da več časa, Ultra porazdeli delo med podagente (Work in Codex)
- Sklepanje ne imunizira pred napakami: napačna predpostavka vodi do napačnega zaključka