Miten päättelymallit toimivat
Tällä sivulla
Ajattelevien mallien konepellin alla
Kun nostat päättelytasoa, malli ei tuota vastausta heti. Se luo ensin päättelytokeneita, joita se käyttää pyynnön purkamiseen ja useiden vastausvaihtoehtojen tutkimiseen. Tämän mekanismin ymmärtäminen ei ole pelkkää teoriaa: sen avulla osaat valita oikean tason, ennakoida kustannuksia ja tulkita mallin tuotosta oikein.
Ajattele ennen kuin vastaat
Nopealla tasolla (Chatissa Instant, rajapinnassa none tai low) malli vastaa lähes suoraan. Mitä korkeammalle asetat tason, sitä enemmän tokeneita malli kuluttaa ajatteluun ennen näkyvän vastauksen tuottamista. Voit pitää tätä vaihetta luonnoksena: ongelman pilkkomista, eri suuntien tutkimista, umpikujien karsimista, tarkistamista ja lopulta synteesiä. Tämä on hyödyllinen mielikuva, ei virallinen kuvaus sisäisestä toiminnasta; OpenAI kuvaa mallia, joka purkaa pyynnön ja harkitsee useita lähestymistapoja ennen vastaamista.
Ota esimerkiksi lauseke “17 × 23 + 45 ÷ 9 − 12”. Ilman päättelyä virheriski laskujärjestyksen suhteen on todellinen. Korkeammalla tasolla malli käyttää aikaa kertolaskun ja jakolaskun suorittamiseen ensin (391 ja 5), sitten yhteen- ja vähennyslaskuun (391 + 5 − 12 = 384) ja tarkistaa tuloksensa ennen sen esittämistä.
Päättelytokenit: näkymättömiä mutta laskutettavia
Päättelytokenit eivät näy vastauksessa, mutta ne lasketaan mukaan. Rajapinnassa ne vievät tilaa konteksti-ikkunasta ja ne laskutetaan tulostokeneina. Vaikeudesta riippuen malli voi tuottaa niistä muutamasta sadasta jopa useisiin kymmeniin tuhansiin. Jos tulostusraja (max_output_tokens) ylittyy päättelyn aikana, vastaus palautuu tilassa incomplete, joskus ennen kuin yhtäkään näkyvää tekstiä on tuotettu; OpenAI suosittelee varaamaan vähintään 25 000 tokenia päättelyyn ja vastaukseen, kun aloitat kokeilut.
Raakaa päättelyä ei paljasteta. Rajapinnassa voit pyytää päättelyyhteenvedon käyttämällä parametria reasoning.summary. ChatGPT:ssä GPT-6:n kanssa vastaus voi alkaa mallin vielä ajatellessa ja täydentyä myöhemmin yksityiskohdilla.
Pro, Max ja Ultra: kolme tapaa tehdä enemmän
Ponnistelutasojen lisäksi on olemassa kolme mekanismia, jotka vievät päättelyä pidemmälle, ja on tärkeää olla sekoittamatta niitä keskenään.
- Pro-tila (
reasoning.mode: "pro"rajapinnassa, Pro-taso Chatissa) saa mallin tekemään kovempaa työtä vaativissa tehtävissä, jotka sietävät suurempaa viivettä. Rajapinnassa tämä lisätyö laskutetaan valitun mallin normaalihinnalla, mutta se kuluttaa enemmän tokeneita. - Max antaa Workissa ja Codexissa sekä rajapinnassa (
max) mallille enemmän aikaa päättelyyn yksittäisessä tehtävässä. - Ultra, joka on käytössä vain Workissa ja Codexissa, menee yhden agentin yli: se jakaa monimutkaisen tehtävän osiin alagenteille, jotka työskentelevät rinnakkain. Se on hyödyllinen vain, jos työ voidaan jakaa itsenäisiin osiin. GPT-6 Luna yltää Max-tasolle, mutta ei Ultraan.
Mitä päättely muuttaa – ja mitä se ei muuta
Korkea päättelytaso tekee eron tietyissä ongelmatyypeissä: matematiikassa ja tilastoissa, logiikassa ja deduktiossa, monimutkaisessa koodissa ja virheenkorjauksessa, strategisessa analyysissä, jossa on painotettuja kriteerejä, sekä yleisesti kaikissa usean vaiheen tehtävissä. OpenAI suosittelee siksi tasoa high vaativaan päättelyyn, monimutkaiseen virheenkorjaukseen ja syvälliseen suunnitteluun.
Se ei kuitenkaan ole taikasauva. Malli voi edelleen tehdä virheitä päättelyn jälkeen: väärä lähtökohta johtaa väärään johtopäätökseen, riippumatta siitä, kuinka huolellinen päättelyprosessi on. Päättely kasvattaa vasteaikaa ja kustannuksia. Yksinkertaisessa tehtävässä se ei lisää mitään, mitä nopeampi taso ei olisi jo pystynyt hoitamaan.
Kokeile itse
Näe mekanismi toiminnassa. Esitä tämä kysymys ensin nopealla tasolla ja sitten korkealla tasolla (Chatissa Instant ja sitten High, tai rajapinnassa low ja sitten high): “Juna lähtee Pariisista klo 8.00 nopeudella 120 km/h. Toinen lähtee Lyonista, 465 km:n päästä, klo 8.30 nopeudella 150 km/h kohti Pariisia. Mihin aikaan ja kuinka kaukana Pariisista ne kohtaavat?” Tarkista odotettu vastaus itse: klo 10.00, 240 km Pariisista. Jos käytät rajapintaa, vertaa molempien tasojen vastauksissa ilmoitettua päättelytokenien määrää käyttötilastoissa.
Viralliset lähteet: Päättelymallit (OpenAI API: päättelytokenit, laskutus, konteksti, yhteenveto, Pro-tila, ponnistelutasot) · Mallit (ChatGPT-dokumentaatio: Max ja Ultra) · GPT-6 ja muut mallit ChatGPT:ssä (vastaukset, jotka alkavat päättelyn aikana)
Keskeiset asiat
- Päättely lisää ajattelutokeneita ennen vastausta; niiden määrä kasvaa valitun tason myötä
- Nämä näkymättömät tokenit vievät tilaa kontekstista ja laskutetaan rajapinnassa tulostokeneina
- Varaa riittävästi marginaalia tulokselle, muuten vastaus palautuu keskeneräisenä
- Pro saa mallin tekemään kovempaa työtä, Max antaa sille enemmän aikaa, Ultra jakaa työn alagenteille (Work ja Codex)
- Päättely ei suojaa virheiltä: väärä lähtökohta johtaa väärään johtopäätökseen