Контрол на усилието за разсъждение: от ChatGPT до API
На тази страница
Настройване на разсъждението за всяка задача
Уроци 1 до 3 Ви предоставиха картата на настройките и насоките на OpenAI. Този урок преминава към контролите: как да регулирате усилието по време на работа, да управлявате разходите му и да го автоматизирате в рамките на приложение. Принципът остава непроменен: нивото на разсъждение е компромис, а не плъзгач за качество. То едновременно влияе върху четири променливи: броя токени за разсъждение, времето за отговор, дълбочината на анализа и потреблението на квота или разходите.
В ChatGPT: Настройка за всяко съобщение
В чата плъзгачът Thinking за GPT-6 се настройва за всяко съобщение поотделно: можете да останете на Instant за преразказ, да превключите на High за анализ и след това да го намалите отново. По-високите нива използват квоти, специфични за Вашия план; когато достигнете лимит, ChatGPT може да продължи с друг наличен модел и, когато е възможно, показва кога квотата се нулира. В Work и Codex плъзгачът за мощност играе същата роля, варирайки от Faster до Smarter, като Max и Ultra се запазват в резерв. Най-добрата практика и в двата случая е: започнете със стандартната настройка и я увеличавайте само ако резултатът не е достатъчен.
В API: Пет лоста
За разработчиците пет параметъра в Responses API Ви дават контрол над разсъждението:
reasoning.effortзадава нивото, отnoneдоmaxв зависимост от модела: GPT-6 Astra и GPT-6.1 Sol започват отlow, докато GPT-6.1 Terra и GPT-6 Luna приематnone.reasoning.mode, по подразбиранеstandardилиpro, кара модела да работи по-усърдно, без да променя нивото на усилие; тази допълнителна работа се таксува по стандартния тарифен план на модела, но консумира повече токени.max_output_tokensограничава общия брой генерирани токени, включително тези за разсъждение. Ако го зададете твърде ниско, ще получите непълни отговори; OpenAI препоръчва да запазите поне 25 000 токена, когато започвате експерименти.reasoning.summaryизисква обобщение на процеса на разсъждение, тъй като суровото разсъждение никога не се разкрива.configuration_update, елемент, вмъкнат между два отговора, променя нивото на усилие по средата на разговора при съвместими модели GPT-6, без да се докосват началните настройки на заявката: префиксът на подканата остава непокътнат, а кешът на подканата продължава да обслужва заявките.
Ето как изглежда този последен елемент, вмъкнат преди следващото съобщение на потребителя:
{
"type": "configuration_update",
"reasoning": { "effort": "high" }
}
Разговор, започнат на low, по този начин преминава на high за следващия отговор и тези след него, докато не настъпи друга актуализация.
Влияние върху разходите
Токените за разсъждение се таксуват като изходни токени и броят им нараства бързо с нивото: от няколкостотин до десетки хиляди за труден проблем. Изборът на модел също има значение: за изходен токен GPT-6 Luna струва двадесет пъти по-малко от GPT-6.1 Sol, а GPT-6 Astra струва пет пъти повече. В ChatGPT разходите се превръщат в квоти: броят на възможните взискателни заявки за период.
Три стратегии за оптимизация
Първата е ескалация: не започвайте от върха. Започнете със стандартното ниво, medium в API, или по-ниско за тривиална задача; ако отговорът е непълен или неправилен, преминете с едно ниво нагоре; запазете xhigh, max, режим pro, Max и Ultra за проблеми, които ги оправдават. В приложението configuration_update прави тази ескалация възможна в рамките на един разговор.
Втората е сортиране въз основа на задачата, което трябва да превърнете в навик: преразказ и класификация на най-ниското ниво, чернови и прости анализи на low, планиране и преценка на medium, отстраняване на грешки и трудни проблеми на high, дългосрочни изследвания на xhigh и екстремни случаи на max.
Третата е да съчетаете правилния модел с правилното ниво. GPT-6.1 Sol на high или по-високо, евентуално в режим pro, се справя с взискателни проблеми; GPT-6 Astra остава за най-трудните; GPT-6.1 Terra се справя с писане, изображения и оркестрация на приложения; GPT-6 Luna, на low или medium, поема обема на по-ниска цена.
Ваш ред
Намерете точката на намаляваща възвръщаемост. Задайте следния въпрос три пъти, на три нива (Instant, Medium, след това High в Chat, или low, medium, след това high в API), и сравнете дълбочината на анализа и, в API, консумираните токени за разсъждение.
“A company has 5 projects. Project A: €100k, ROI 3.2x, medium risk. Project B: €250k, ROI 1.8x, low risk. Project C: €50k, ROI 5.1x, high risk. Project D: €150k, ROI 2.4x, medium risk. Project E: €75k, ROI 4.0x, high risk. The total budget is €400k. Which projects should be funded to maximize risk-adjusted ROI? Explicitly state the adjustment rule used.”
Идентифицирайте нивото, при което по-високото ниво добавя малко стойност: това е Вашата настройка за този тип въпроси.
Официални източници: Модели за разсъждение (OpenAI API: effort, pro mode, max_output_tokens, summaries, configuration_update, billing) · Модели (приети усилия и цени за модел) · GPT-6 и други модели в ChatGPT (нива, квоти и резервно решение в Chat)
Ключови изводи
- Усилието варира токените, латентността, дълбочината и разходите едновременно: това е компромис
- В ChatGPT нивото се настройва за всяко съобщение, в рамките на квотите на плана
- В API:
reasoning.effort,reasoning.mode,max_output_tokens,reasoning.summaryиconfiguration_update - Ескалацията, сортирането на задачи и правилното съчетание модел-ниво са трите лоста за икономии
- Промяната на усилието по средата на разговора с
configuration_updateзапазва кеша на подканата