Hallitse päättelypanostusta ChatGPT:stä API:hin
Tällä sivulla
Päättelyn säätäminen jokaiseen tehtävään
Tunneilla 1–3 opit asetusten kartan ja OpenAI:n ohjeistuksen. Tällä tunnilla siirrytään hallintakeinoihin: miten säädät panostusta työn edetessä, hallitset kustannuksia ja automatisoit prosessin sovelluksessa. Periaate pysyy samana: päättelytaso on kompromissi, ei laatusäädin. Se vaikuttaa samanaikaisesti neljään muuttujaan: päättelytokenien määrään, vasteaikaan, analyysin syvyyteen sekä kiintiön kulutukseen tai kustannuksiin.
ChatGPT:ssä: asetus viestiä kohden
Chatissa GPT-6:n Thinking-liukusäädin mukautuu viesti kerrallaan: voit pitää sen Instant-tilassa uudelleenmuotoilua varten, vaihtaa High-tilaan analyysia varten ja säätää sen sitten takaisin alas. Korkeammat tasot kuluttavat tilaussuunnitelmasi mukaisia kiintiöitä; kun saavutat rajan, ChatGPT voi jatkaa toisella käytettävissä olevalla mallilla ja ilmoittaa mahdollisuuksien mukaan, milloin kiintiö nollautuu. Work- ja Codex-ympäristöissä tehosäädin toimii samalla tavalla skaalalla Fasterista Smarteriin, kun taas Max ja Ultra pidetään varalla. Paras käytäntö molemmissa tapauksissa: aloita oletusasetuksella ja kasvata sitä vain, jos tulos ei riitä.
API:ssa: viisi vipua
Kehittäjillä on Responses API:ssa viisi parametria, joilla hallitset päättelyä:
reasoning.effortmäärittää tason arvostanonearvoonmaxmallista riippuen: GPT-6 Astra ja GPT-6.1 Sol alkavat tasoltalow, kun taas GPT-6.1 Terra ja GPT-6 Luna hyväksyvät arvonnone.reasoning.mode, oletuksenastandardtai vaihtoehtoisestipro, saa mallin tekemään enemmän työtä muuttamatta panostustasoa; tämä lisätyö laskutetaan mallin normaalihinnalla, mutta se kuluttaa enemmän tokeneita.max_output_tokensasettaa ylärajan luotujen tokenien kokonaismäärälle, päättelytokenit mukaan lukien. Jos asetat sen liian alas, saat epätäydellisiä vastauksia; OpenAI suosittelee varaamaan vähintään 25 000 tokenia kokeiluja aloittaessa.reasoning.summarypyytää yhteenvedon päättelyprosessista, sillä raakaa päättelyä ei koskaan paljasteta.configuration_updateon kahden vastauksen väliin sijoitettu elementti, joka muuttaa panostustasoa keskellä keskustelua yhteensopivissa GPT-6-malleissa koskematta alkuperäisen pyynnön asetuksiin: kehotteen etuliite pysyy ennallaan, ja kehotteen välimuisti (prompt cache) jatkaa toimintaansa.
Näin tuo viimeinen elementti näyttää, kun se sijoitetaan ennen käyttäjän seuraavaa viestiä:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Keskustelu, joka aloitettiin tasolla low, siirtyy näin tasolle high seuraavaa vastausta ja sitä seuraavia varten, kunnes uusi päivitys tapahtuu.
Vaikutus kustannuksiin
Päättelytokenit laskutetaan output-tokeneina, ja niiden määrä kasvaa nopeasti tason myötä: vaikeassa ongelmassa määrä voi nousta muutamasta sadasta kymmeniin tuhansiin. Mallin valinnalla on yhtä suuri merkitys: yhtä output-tokenia kohden GPT-6 Luna maksaa kahdenkymmenesosan GPT-6.1 Solin hinnasta, ja GPT-6 Astra maksaa viisi kertaa enemmän. ChatGPT:ssä kustannukset näkyvät kiintiöinä: kysyntää vaativien pyyntöjen määrä jaksoa kohden.
Kolme optimointistrategiaa
Ensimmäinen on portaaton eskalointi: älä aloita ylimmältä tasolta. Aloita oletustasolla, API:ssa medium, tai alemmalla tasolla triviaaleja tehtäviä varten; jos vastaus on epätäydellinen tai virheellinen, nosta tasoa yhdellä pykälällä; varaa xhigh, max, pro-tila, Max ja Ultra vain ongelmille, jotka niitä perustellusti vaativat. Sovelluksessa configuration_update mahdollistaa tämän eskaloinnin yhden keskustelun sisällä.
Toinen on tehtäväkohtainen lajittelu, josta kannattaa tehdä tapa: uudelleenmuotoilu ja luokittelu alimmalla tasolla, luonnostelu ja yksinkertaiset analyysit tasolla low, suunnittelu ja harkinta tasolla medium, vianetsintä ja vaikeat ongelmat tasolla high, laajat tutkimukset tasolla xhigh ja ääritapaukset tasolla max.
Kolmas on oikean mallin yhdistäminen oikeaan tasoon. GPT-6.1 Sol tasolla high tai korkeammalla, mahdollisesti pro-tilassa, hoitaa vaativat ongelmat; GPT-6 Astra on varattu kaikkein vaikeimpiin tehtäviin; GPT-6.1 Terra hoitaa kirjoittamisen, kuvien käsittelyn ja sovellusten orkestroinnin; GPT-6 Luna tasolla low tai medium käsittelee suuria määriä edullisemmin.
Sinun vuorosi
Etsi piste, jossa lisäpanostus ei enää kannata. Kysy seuraava kysymys kolme kertaa kolmella eri tasolla (Chatissa Instant, Medium ja High, tai API:ssa low, medium ja high) ja vertaa analyysin syvyyttä sekä API:ssa kuluneita päättelytokeneita.
“Yrityksellä on 5 hanketta. Hanke A: 100 000 €, ROI 3,2x, keskiriski. Hanke B: 250 000 €, ROI 1,8x, pieni riski. Hanke C: 50 000 €, ROI 5,1x, suuri riski. Hanke D: 150 000 €, ROI 2,4x, keskiriski. Hanke E: 75 000 €, ROI 4,0x, suuri riski. Kokonaisbudjetti on 400 000 €. Mitkä hankkeet tulisi rahoittaa riskikorjatun ROI:n maksimoimiseksi? Ilmoita nimenomaisesti käytetty säätösääntö.”
Tunnista taso, jossa korkeammalle siirtyminen tuottaa vain vähän lisäarvoa: tämä on asetuksesi tämän tyyppisille kysymyksille.
Viralliset lähteet: Reasoning models (OpenAI API: effort, pro mode, max_output_tokens, summaries, configuration_update, billing) · Models (hyväksytyt panostustasot ja hinnoittelu mallikohtaisesti) · GPT-6 and other models in ChatGPT (tasot, kiintiöt ja varajärjestelmä Chatissa)
Keskeiset asiat
- Panostus vaikuttaa samanaikaisesti tokeneihin, viiveeseen, syvyyteen ja kustannuksiin: se on kompromissi
- ChatGPT:ssä taso mukautuu viesti kerrallaan tilaussuunnitelman kiintiöiden puitteissa
- API:ssa:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryjaconfiguration_update - Eskalointi, tehtävien lajittelu ja oikean mallin yhdistäminen oikeaan tasoon ovat kolme säästövipua
- Panostuksen muuttaminen keskellä keskustelua komennolla
configuration_updatesäilyttää kehotteen välimuistin