Valdyk samprotavimo pastangas: nuo ChatGPT iki API
Šiame puslapyje
Samprotavimo lygio derinimas kiekvienai užduočiai
1–3 pamokose gavai nustatymų žemėlapį ir „OpenAI“ gaires. Šioje pamokoje pereiname prie valdymo: kaip koreguoti pastangas darbo metu, valdyti jų kainą ir automatizuoti šį procesą programoje. Principas lieka nepakitęs: samprotavimo lygis yra kompromisas, o ne kokybės slankiklis. Jis vienu metu veikia keturis kintamuosius: samprotavimo tokenų skaičių, atsako laiką, analizės gylį bei kvotos sunaudojimą arba kainą.
ChatGPT: nustatymas kiekvienam pranešimui
Pokalbių lange GPT-6 slankiklis Thinking (Mąstymas) reguliuojamas kiekvienam pranešimui atskirai: gali palikti režimą „Instant“ (Akimirksniu) perfrazavimui, perjungti į „High“ (Aukštas) analizei, o tada vėl jį sumažinti. Aukštesni lygiai naudoja tavo planui skirtas kvotas; pasiekus ribą, „ChatGPT“ gali tęsti darbą kitu prieinamu modeliu ir, kai įmanoma, nurodo, kada kvota bus atnaujinta. „Work“ ir „Codex“ aplinkose galios slankiklis atlieka tą patį vaidmenį, svyruodamas nuo „Faster“ (Greitesnis) iki „Smarter“ (Protingesnis), o „Max“ ir „Ultra“ paliekami rezervui. Geriausia praktika abiem atvejais: pradėk nuo numatytojo nustatymo ir didink jį tik tada, jei rezultatas nepakankamas.
API: penki svertai
Kūrėjams „Responses API“ suteikia penkis parametrus, leidžiančius valdyti samprotavimą:
reasoning.effortnustato lygį nuononeikimax, priklausomai nuo modelio: GPT-6 Astra ir GPT-6.1 Sol pradeda nuolow, o GPT-6.1 Terra ir GPT-6 Luna priimanone.reasoning.mode, pagal nutylėjimąstandardarbapro, priverčia modelį dirbti intensyviau nekeičiant pastangų lygio; šis papildomas darbas apmokestinamas standartiniu modelio tarifu, tačiau suvartoja daugiau tokenų.max_output_tokensnustato maksimalų sugeneruotų tokenų skaičių, įskaitant samprotavimą. Nustačius per mažą vertę, gausi nebaigtus atsakymus; „OpenAI“ rekomenduoja eksperimentų pradžiai rezervuoti bent 25 000 tokenų.reasoning.summaryprašo pateikti samprotavimo proceso santrauką, kadangi „žalias“ samprotavimas niekada nėra atskleidžiamas.configuration_update– elementas, įterpiamas tarp dviejų atsakymų, keičiantis pastangų lygį pokalbio eigoje suderinamuose GPT-6 modeliuose neliečiant pradinių užklausos nustatymų: prompto priešdėlis lieka nepakitęs, o prompto talpykla (cache) toliau veikia.
Štai kaip atrodo tas paskutinis elementas, įterptas prieš kitą naudotojo žinutę:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Pokalbis, pradėtas nustatymu low, taip perjungiamas į high kitam atsakymui ir visiems vėlesniems, kol neįvyksta kitas atnaujinimas.
Poveikis kainoms
Samprotavimo tokenai apmokestinami kaip išvesties tokenai, o jų skaičius greitai auga didėjant lygiui: nuo kelių šimtų iki dešimčių tūkstančių sudėtingoms problemoms spręsti. Modelio pasirinkimas taip pat labai svarbus: vienam išvesties tokenui GPT-6 Luna kainuoja dvidešimt kartų mažiau nei GPT-6.1 Sol, o GPT-6 Astra – penkis kartus daugiau. „ChatGPT“ aplinkoje kaina verčiama į kvotas: tai reiškia maksimalų sudėtingų užklausų skaičių per tam tikrą laikotarpį.
Trys optimizavimo strategijos
Pirmoji yra laipsniškas didinimas (escalation): nepradėk nuo aukščiausio lygio. Pradėk nuo numatytojo lygio (medium API aplinkoje) arba žemesnio trivialioms užduotims; jei atsakymas neišsamus ar neteisingas, pakilk vienu lygiu aukštyn; lygius xhigh, max, „pro“ režimą, „Max“ ir „Ultra“ palik tik toms problemoms, kurios jų reikalauja. Programoje configuration_update leidžia taikyti šį laipsnišką didinimą vieno pokalbio ribose.
Antroji – užduočių atranka (task-based triage), kurią turėtum įprasti: perfrazavimas ir klasifikavimas žemiausiu lygiu, rengimas ir paprasta analizė ties low, planavimas ir vertinimas ties medium, derinimas (debugging) ir sudėtingos problemos ties high, ilgos trukmės tyrimai ties xhigh, o ekstremalūs atvejai – ties max.
Trečioji – tinkamo modelio derinimas su tinkamu lygiu. GPT-6.1 Sol ties high arba aukštesniu, galbūt „pro“ režimu, sprendžia reiklias problemas; GPT-6 Astra paliekamas sunkiausiems atvejams; GPT-6.1 Terra tvarko rašymą, vaizdus ir programų orchestraciją; GPT-6 Luna, ties low arba medium, apdoroja didelius kiekius mažesne kaina.
Tavo eilė
Rask mažėjančios grąžos tašką. Užduok šį klausimą tris kartus, trimis skirtingais lygiais („Instant“, „Medium“, tada „High“ „ChatGPT“ aplinkoje arba low, medium, tada high API aplinkoje) ir palygink analizės gylį bei (API atveju) sunaudotus samprotavimo tokenus.
„Įmonė turi 5 projektus. A projektas: 100 tūkst. EUR, ROI 3,2x, vidutinė rizika. B projektas: 250 tūkst. EUR, ROI 1,8x, maža rizika. C projektas: 50 tūkst. EUR, ROI 5,1x, didelė rizika. D projektas: 150 tūkst. EUR, ROI 2,4x, vidutinė rizika. E projektas: 75 tūkst. EUR, ROI 4,0x, didelė rizika. Bendras biudžetas – 400 tūkst. EUR. Kurie projektai turėtų būti finansuojami, kad būtų maksimizuotas rizika koreguotas ROI? Aiškiai nurodykite naudotą korekcijos taisyklę.”
Nustatyk lygį, kurio viršijimas beveik neprideda vertės: tai bus tavo nustatymas šio tipo klausimams.
Oficialūs šaltiniai: Samprotavimo modeliai („OpenAI API“: pastangos, pro režimas, max_output_tokens, santraukos, configuration_update, atsiskaitymas) · Modeliai (priimtinos pastangos ir kainodara kiekvienam modeliui) · GPT-6 ir kiti modeliai „ChatGPT“ (lygiai, kvotos ir perjungimas pokalbiuose)
Svarbiausi punktai
- Pastangos vienu metu keičia tokenų skaičių, delsą, gylį ir kainą: tai kompromisas
- „ChatGPT“ aplinkoje lygis reguliuojamas kiekvienam pranešimui atskirai, laikantis plano kvotų
- API aplinkoje:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryirconfiguration_update - Laipsniškas didinimas, užduočių atranka ir tinkamas modelio bei lygio derinimas – trys pagrindiniai taupymo svertai
- Pastangų keitimas pokalbio viduryje naudojant
configuration_updateišsaugo prompto talpyklą