A következtetési erőfeszítés szabályozása: a ChatGPT-től az API-ig
Ezen az oldalon
A reflexió finomhangolása minden feladathoz
Az 1–3. leckék bemutatták a beállítások térképét és az OpenAI irányelveit. Ez a lecke a vezérlőkre fókuszál: hogyan állítsd az erőfeszítést munka közben, hogyan kezeld a költségeket, és hogyan automatizáld ezt egy alkalmazáson belül. Az elv változatlan: a következtetési szint kompromisszum, nem pedig minőségszabályozó. Egyidejűleg négy változót befolyásol: a következtetési tokenek számát, a válaszidőt, az elemzés mélységét, valamint a kvótafelhasználást vagy költséget.
A ChatGPT-ben: beállítás üzenetenként
A Chat felületen a GPT-6 Gondolkodás csúszkája üzenetenként állítható: maradhattok az „Azonnali“ szinten átfogalmazáshoz, válthattok „Magas“ szintre elemzéshez, majd visszavehetitek. A magasabb szintek a csomagotokhoz tartozó specifikus kvótákat merítik; ha eléritek a limitet, a ChatGPT folytathatja egy másik elérhető modellel, és ahol lehetséges, jelzi a kvóta visszaállításának időpontját. A Work és a Codex felületeken a teljesítménycsúszka ugyan ezt a szerepet tölti be: a „Gyorsabb“ és az „Okosabb“ között mozog, míg a „Max“ és az „Ultra“ tartalékban marad. Mindkét esetben a legjobb gyakorlat: kezdjetek az alapértelmezett beállítással, és csak akkor növeljétek, ha az eredmény nem elegendő.
Az API-ban: öt kar
Fejlesztőként öt paraméter áll rendelkezésetekre a Responses API-ban a következtetés szabályozásához:
- A
reasoning.efforthatározza meg a szintet, modelltől függően anoneés amaxközött: a GPT-6 Astra és a GPT-6.1 Sol alapértelmezettenlowszinten indul, míg a GPT-6.1 Terra és a GPT-6 Luna elfogadja anoneértéket is. - A
reasoning.mode, amely alapértelmezettenstandardvagypro, arra készteti a modellt, hogy keményebben dolgozzon az erőfeszítési szint változtatása nélkül; ez a többletmunka a modell szokásos díjazása szerint számlázódik, de több tokent fogyaszt. - A
max_output_tokenskorlátozza a generált tokenek teljes számát, beleértve a következtetést is. Ha túl alacsonyra állítjátok, hiányos válaszokat kaptok; az OpenAI azt javasolja, hogy kísérletezéskor legalább 25 000 tokent tartsatok tartalékban. - A
reasoning.summarykéri a következtetési folyamat összefoglalását, mivel a nyers következtetés soha nem válik láthatóvá. - A
configuration_updateegy két válasz közé illesztett elem, amely kompatibilis GPT-6 modelleken beszélgetés közben módosítja az erőfeszítési szintet anélkül, hogy érintené a kezdeti kérés beállításait: a prompt előtag érintetlen marad, és a prompt gyorsítótár továbbra is szolgál.
Íme, hogyan néz ki ez az utolsó elem, amikor a felhasználó következő üzenete előtt illesztitek be:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Egy low szinten indított beszélgetés így a következő válaszra és az azt követőkre high szintre vált, amíg egy újabb frissítés nem történik.
A költségekre gyakorolt hatás
A következtetési tokeneket kimeneti tokenként számlázzák, és számuk a szinttel gyorsan nő: egy nehéz probléma esetén néhány százról több tízezerre is emelkedhet. A modellválasztás ugyanilyen fontos: kimeneti tokenenként a GPT-6 Luna hússzor olcsóbb, mint a GPT-6.1 Sol, míg a GPT-6 Astra ötször többe kerül. A ChatGPT-ben a költség kvótákban jelenik meg: ez határozza meg, hogy egy adott időszakban hány igényes kérést tehettek fel.
Három optimalizálási stratégia
Az első az eszkáláció: ne kezdjetek a csúcson. Induljatok az alapértelmezett szinttel (az API-ban ez medium), vagy alacsonyabbal triviális feladatoknál; ha a válasz hiányos vagy helytelen, lépjegyet egy szinttel feljebb; az xhigh, max, pro mód, Max és Ultra szinteket csak olyan problémákra tartsátok fenn, amelyek ezt indokolják. Egy alkalmazásban a configuration_update teszi lehetővé ezt az eskálációt egyetlen beszélgetésen belül.
A második a feladatalapú triázs, amit szokásotokká kell tennetek: átfogalmazás és osztályozás a legalacsonyabb szinten, vázlatkészítés és egyszerű elemzések low szinten, tervezés és ítélkezés medium szinten, hibakeresés és nehéz problémák high szinten, hosszú távú kutatás xhigh szinten, szélsőséges esetek pedig max szinten.
A harmadik stratégia a megfelelő modell párosítása a megfelelő szinttel. A GPT-6.1 Sol high vagy annál magasabb szinten, esetleg pro módban kezeli az igényes problémákat; a GPT-6 Astra a legnehezebb esetekre marad; a GPT-6.1 Terra a szövegírást, képfeldolgozást és alkalmazás-orchestrációt végzi; a GPT-6 Luna pedig low vagy medium szinten nagy volumenű feladatokat nyel el alacsonyabb költséggel.
Rajtatok a sor
Találjátok meg a csökkenő hozadék pontját. Tegyétek fel a következő kérdést háromszor, három különböző szinten (Chatben: Azonnali, Közepes, majd Magas; API-ban: low, medium, majd high), és hasonlítsátok össze az elemzés mélységét, valamint az API esetén az elhasznált következtetési tokenek számát.
„Egy vállalatnak 5 projektje van. A projekt: 100 ezer euró, ROI 3,2-szeres, közepes kockázat. B projekt: 250 ezer euró, ROI 1,8-szoros, alacsony kockázat. C projekt: 50 ezer euró, ROI 5,1-szeres, magas kockázat. D projekt: 150 ezer euró, ROI 2,4-szeres, közepes kockázat. E projekt: 75 ezer euró, ROI 4,0-szeres, magas kockázat. A teljes költségvetés 400 ezer euró. Mely projekteket kell finanszírozni a kockázathoz igazított ROI maximalizálása érdekében? Explicit módon fogalmazzátok meg az alkalmazott kiigazítási szabályt.”
Azonosítsátok azt a szintet, ahol a további növelés már alig ad hozzá értéket: ez lesz a beállításotok ehhez a kérdéstípushoz.
Hivatalos források: Következtetési modellek (OpenAI API: erőfeszítés, pro mód, max_output_tokens, összefoglalók, configuration_update, számlázás) · Modellek (elfogadott erőfeszítési szintek és modellek szerinti árazás) · GPT-6 és egyéb modellek a ChatGPT-ben (szintek, kvóták és tartalék megoldás a Chatben)
Főbb megállapítások
- Az erőfeszítés egyszerre változtatja a tokeneket, a késleltetést, a mélységet és a költséget: ez egy kompromisszum
- A ChatGPT-ben a szint üzenetenként állítható, a csomag kvótáin belül
- Az API-ban:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryésconfiguration_update - Az eskáláció, a feladatriázs és a megfelelő modell-szint párosítás a megtakarítás három karja
- A
configuration_updatehasználatával beszélgetés közben módosítható az erőfeszítés anélkül, hogy a prompt gyorsítótár megszakadna