Kuidas põhjendamisvõimega mudelid töötavad
Sellel lehel
Mudelite “mõtlemise” telgitagused
Kui suurendad põhjendamise taset, ei genereeri mudel vastust koheselt. Esiteks loob ta põhjendamise tokeneid, mida ta kasutab taotluse lahkamiseks ja erinevate vastamisviiside uurimiseks. Selle mehhanismi mõistmine ei ole pelgalt teoreetiline – just see võimaldab sul valida sobiva taseme, ennustada kulusid ja tõlgendada mudeli väljundit õigesti.
Mõtle enne vastamist
Kiirel tasemel (Chat’is „Instant“, API-s none või low) vastab mudel peaaegu kohe. Mida kõrgemale taseme seadad, seda rohkem tokeneid kulutab mudel mõtlemisele enne nähtava vastuse loomist. Võid seda faasi käsitleda mustandina: probleemi lahkamine, suundade uurimine, ummikteede välistamine, kontrollimine ja seejärel sünteesimine. See on kasulik vaimne mudel, mitte ametlik kirjeldus sisemisest toimimisest; OpenAI kirjeldab mudelit, mis lahutab taotluse osadeks ja kaalub enne vastamist mitut lähenemisviisi.
Võtame avaldise „17 × 23 + 45 ÷ 9 − 12“. Ilma põhjendamiseta on oht teha viga tehete järjekorraga. Kõrgemal tasemel võtab mudel aega, et töödelda esmalt korrutamine ja jagamine (391 ja 5), seejärel liitmine ja lahutamine (391 + 5 − 12 = 384) ning kontrollib tulemust enne selle esitamist.
Põhjendamise tokenid: nähtamatud, kuid arvestatud
Põhjendamise tokenid ei ilmu vastuses, kuid neid arvestatakse. API-s hõivavad need ruumi kontekstiaknas ja nende eest tasutakse nagu väljundtokenite eest. Sõltuvalt raskusastmest võib mudel genereerida mõnest sajast kuni mitme kümne tuhande tokenini. Kui väljundi piirang (max_output_tokens) saavutatakse põhjendamise käigus, tagastatakse vastus olekuga incomplete, mõnikord isegi enne, kui ükski nähtav tekst on loodud; OpenAI soovitab katsetamist alustades reserveerida põhjendamiseks ja vastuseks vähemalt 25 000 tokenit.
Toorest põhjendamist ei avaldata. API-s saad taotleda põhjendamise kokkuvõtet, kasutades parameetrit reasoning.summary. ChatGPT-s võib GPT-6 vastus alata j siis, kui mudel veel mõtleb, ja hiljem detailsustega täieneda.
Pro, Max ja Ultra: kolm viisi rohkem saavutada
Lisaks pingutustasemetele on olemas kolm mehhanismi, mis viivad põhjendamise kaugemale, ja neid on oluline mitte omavahel segi ajada.
- Pro-režiim (
reasoning.mode: "pro"API-s, Pro-tase Chat’is) paneb mudeli raskemate ülesannetega rohkem vaeva nägema, kui suurem latentsus on lubatav. API-s tasutakse selle lisatöö eest valitud mudeli tavahinna alusel, kuid see tarbib rohkem tokeneid. - Max annab nii Workis ja Codexis kui ka API-s (
max) mudelile ühe ülesande põhjendamiseks rohkem aega. - Ultra, mis on saadaval ainult Workis ja Codexis, läheb kaugemale ühest agendist: see jagab keerulise ülesande osadeks all-agentide vahel, kes töötavad paralleelselt. See on kasulik ainult siis, kui töö saab jagada sõltumatuteks tükkideks. GPT-6 Luna ulatub Max-tasemeni, kuid mitte Ultra-ni.
Mida põhjendamine muudab ja mida mitte
Kõrge põhjendamise tase teeb vahet konkreetsete probleemide puhul: matemaatika ja statistika, loogika ja deduktsioon, keeruline kodeerimine ja silumine, strateegiline analüüs kaalutud kriteeriumidega ning üldiselt iga mitmeastmeline ülesanne. OpenAI soovitab seetõttu kasutada high taset keerulise põhjendamise, sügava silumise ja põhjaliku planeerimise jaoks.
Samas ei ole see imerohi. Mudel võib ka pärast põhjendamist vigu teha: vale eeldus viib vale järelduseni, ükskõik kui hoolikas põhjendusprotsess ka poleks. Põjendamine suurendab vastamise aega ja kulusid. Lihtsa ülesande puhul ei lisa see midagi, mida kiire tase juba ei suudaks lahendada.
Proovi ise järele
Vaata mehhanismi tegevuses. Esita see küsimus esmalt kiirel tasemel, seejärel kõrgel tasemel (Chat’is „Instant“ ja seejärel „High“ või API-s low ja seejärel high): „Rong väljub Pariisist kell 8.00 kiirusega 120 km/h. Teine rong väljub Lyonist, mis asub 465 km kaugusel, kell 8.30 kiirusega 150 km/h Pariisi suunas. Mis kellaajal ja kui kaugel Pariisist nad kohtuvad?“ Kontrolli oodatavat vastust ise: kell 10.00, 240 km Pariisist. Kui kasutad API-d, võrdle mõlemal tasemel vastuse kasutuses (usage) näidatud põhjendamise tokenite arvu.
Ametlikud allikad: Põhjendamismudelid (OpenAI API: põhjendamise tokenid, arveldamine, kontekst, kokkuvõtted, pro-režiim, pingutustasemed) · Mudelid (ChatGPT dokumentatsioon: Max ja Ultra) · GPT-6 ja teised mudelid ChatGPT-s (vastused, mis algavad põhjendamise ajal)
Peamised punktid
- Põjendamine lisab enne vastust mõtlemistokeneid; nende arv kasvab valitud tasemega
- Need tokenid on nähtamatud, hõivavad konteksti ja API-s tasutakse nende eest nagu väljundtokenite eest
- Jäta piisav väljundivaruvõimalus, vastasel juhul tagastatakse vastus lõpetamata olekus
- Pro paneb mudeli rohkem vaeva nägema, Max annab talle rohkem aega, Ultra jaotab töö all-agentide vahel (Work ja Codex)
- Põjendamine ei kaitse vigade eest: vale eeldus viib vale järelduseni