Nadzor nad prizadevanjem za sklepanje: od ChatGPT do API-ja
Na tej strani
Prilagajanje razmišljanja za vsako nalogo
Lekcije od 1 do 3 so ti podale zemljevid nastavitev in smernic podjetja OpenAI. Ta lekcija prehaja na krmilnike: kako prilagajati prizadevanje med delom, upravljati njegove stroške in ga avtomatizirati znotraj aplikacije. Načelo ostaja nespremenjeno: raven sklepanja je kompromis, ne drsnik za kakovost. Hkrati vpliva na štiri spremenljivke: število žetonov za sklepanje, čas odziva, globino analize ter porabo kvote ali stroške.
V ChatGPT: Nastavitev za vsako sporočilo
V klepetu drsnik Thinking za GPT-6 prilagaja posamezno sporočilo: lahko ostaneš na Instant za preoblikovanje, preklopiš na High za analizo in ga nato ponovno znižaš. Višje ravni črpajo iz kvot, specifičnih za tvoj načrt; ko dosežeš omejitev, lahko ChatGPT nadaljuje z drugim razpoložljivim modelom in, kjer je mogoče, označi, kdaj se kvota ponastavi. V okoljih Work in Codex ima drsnik moči enako vlogo, sega od Faster do Smarter, pri čemer sta Max in Ultra pridržana za posebne primere. Najboljša praksa v obeh primerih: začni z privzeto nastavitvijo in jo povečaj le, če rezultat ni zadosten.
V API-ju: Pet vzvodov
Za razvijalce pet parametrov v API-ju Responses prevzame nadzor nad sklepanjem:
reasoning.effortdoloča raven, odnonedomax, odvisno od modela: GPT-6 Astra in GPT-6.1 Sol začneta prilow, medtem ko GPT-6.1 Terra in GPT-6 Luna sprejematanone.reasoning.mode, privzetostandardalipro, prisili model k večjemu delu brez spremembe ravni prizadevanja; to dodatno delo se zaračuna po standardni tarifi modela, vendar porabi več žetonov.max_output_tokensomeji skupno število ustvarjenih žetonov, vključno s tistimi za sklepanje. Če ga nastaviš prenizko, dobiš nepopolne odgovore; OpenAI priporoča, da ob začetku eksperimentiranja rezerviraš vsaj 25.000 žetonov.reasoning.summaryzahteva povzetek procesa sklepanja, saj surovo sklepanje nikoli ni razkrito.configuration_update, element vstavljen med dva odgovora, spremeni raven prizadevanja sredi pogovora na združljivih modelih GPT-6, ne da bi se dotaknil začetnih nastavitev zahteve: predpona poziva ostane nedotaknjena in predpomnilnik poziva še naprej deluje.
Tako izgleda zadnji element, vstavljen pred naslednje uporabnikovo sporočilo:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Pogovor, ki se je začel pri low, se tako preklopi na high za naslednji odgovor in tiste, ki sledijo, dokler ne pride do nove posodobitve.
Vpliv na stroške
Žetoni za sklepanje se zaračunavajo kot izhodni žetoni, njihovo število pa se z ravnijo hitro povečuje: od nekaj sto do desettisočev za težko nalogo. Izbira modela je prav tako pomembna: na izhodni žeton je GPT-6 Luna dvajsetkrat cenejši od GPT-6.1 Sol, GPT-6 Astra pa je petkrat dražji. V ChatGPT se stroški prevedejo v kvote: število zahtevnih poizvedb, možnih v določenem obdobju.
Tri strategije optimizacije
Prva je stopnjevanje: ne začni na vrhu. Začni s privzeto ravnjo, medium v API-ju, ali nižje za banalno nalogo; če je odgovor nepopoln ali napačen, pojdi za eno stopnico višje; xhigh, max, način pro, Max in Ultra prihrani za težave, ki to upravičujejo. V aplikaciji configuration_update omogoča to stopnjevanje znotraj enega samega pogovora.
Druga je trijaža na podlagi nalog, kar naj postane tvoja navada: preoblikovanje in razvrščanje na najnižji ravni, pisanje osnutkov in preproste analize pri low, načrtovanje in presoja pri medium, odpravljanje napak in težke težave pri high, dolgoročne raziskave pri xhigh in skrajni primeri pri max.
Tretja je združevanje pravega modela s pravo ravnjo. GPT-6.1 Sol pri high ali več, po možnosti v načinu pro, obvlada zahtevne težave; GPT-6 Astra ostaja za najtežje; GPT-6.1 Terra obravnava pisanje, slike in orkestracijo aplikacij; GPT-6 Luna, pri low ali medium, prevzame velike količine po nižjih stroških.
Tvoja vrsta
Poišči točko upadanja donosnosti. Zastavi naslednje vprašanje trikrat, na treh ravneh (Instant, Medium in nato High v Chatu ali low, medium in nato high v API-ju) ter primerjaj globino analize in v API-ju porabljene žetone za sklepanje.
“Podjetje ima 5 projektov. Projekt A: 100.000 €, ROI 3,2x, srednje tveganje. Projekt B: 250.000 €, ROI 1,8x, nizko tveganje. Projekt C: 50.000 €, ROI 5,1x, visoko tveganje. Projekt D: 150.000 €, ROI 2,4x, srednje tveganje. Projekt E: 75.000 €, ROI 4,0x, visoko tveganje. Skupni proračun znaša 400.000 €. Katere projekte je treba financirati za maksimizacijo ROI, prilagojenega tveganju? Izrecno navedi uporabljeno pravilo prilagoditve.”
Določi raven, pri kateri nadaljnje zviševanje doda malo vrednosti: to je tvoja nastavitev za to vrsto vprašanj.
Uradni viri: Modeli sklepanja (OpenAI API: effort, pro mode, max_output_tokens, summaries, configuration_update, billing) · Modeli (sprejeta prizadevanja in cenik na model) · GPT-6 in drugi modeli v ChatGPT (ravni, kvote in nadomestni modeli v Chatu)
Ključne ugotovitve
- Prizadevanje hkrati spreminja žetone, zakasnitev, globino in stroške: gre za kompromis
- V ChatGPT se raven prilagaja na sporočilo, znotraj kvot načrta
- V API-ju:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryinconfiguration_update - Stopnjevanje, triaža nalog in pravilno združevanje modela z ravnjo so trije vzvodi za prihranke
- Sprememba prizadevanja sredi pogovora z
configuration_updateohranja predpomnilnik poziva