Как работят моделите за разсъждение
На тази страница
Под капака на моделите, които “мислят”
Когато увеличите нивото на разсъждение, моделът не генерира отговора си веднага. Първо той произвежда токъни за разсъждение, които използва, за да разбие заявката и да проучи множество начини за отговор. Разбирането на този механизъм не е просто теоретично упражнение – то Ви позволява да зададете подходящо ниво, да предвидите разходите и да интерпретирате правилно изхода на модела.
Мисли, преди да отговориш
При бързо ниво (Instant в Chat, none или low в API), моделът отговаря почти директно. Колкото по-високо зададете нивото, толкова повече токъни той изразходва за мислене, преди да произведе видимия отговор. Можете да разглеждате тази фаза като чернова: разбиване на проблема, проучване на възможни пътища, отхвърляне на задънени улици, проверка и след това синтезиране. Това е полезен ментален модел, а не официално описание на вътрешната работа; онова, което OpenAI описва, е модел, който декомпозира заявката и обмисля няколко подхода, преди да отговори.
Вземете израза “17 × 23 + 45 ÷ 9 − 12”. Без разсъждение рискът от грешка относно приоритета на операциите е реален. При по-високо ниво моделът отделя време, за да обработи първо умножението и деленето (391 и 5), след това събирането и изваждането (391 + 5 − 12 = 384), и проверява резултата си, преди да го заяви.
Токъни за разсъждение: Невидими, но броени
Токъните за разсъждение не се появяват в отговора, но се броят. В API те заемат място в прозореца на контекста и се таксуват като изходни токъни. В зависимост от трудността, един модел може да генерира от няколкостотин до няколко десетки хиляди такива токъни. Ако лимитът за изход (max_output_tokens) бъде достигнат по време на разсъждението, отговорът се връща със статус incomplete, понякога преди да е произведен какъвто и да е видим текст; OpenAI препоръчва да запазите поне 25 000 токъни за разсъждение и отговор, когато започвате експерименти.
Суровото разсъждение не се излага явно. В API можете да поискате обобщение на разсъждението, използвайки параметъра reasoning.summary. В ChatGPT, с GPT-6, отговорът може да започне, докато моделът все още мисли, и след това да се обогати с детайли по-късно.
Pro, Max и Ultra: Три начина да направите повече
Освен нивата на усилие, съществуват три механизма, които отвеждат разсъждението по-далеч, и е полезно да не ги бъркате.
- Режим Pro (
reasoning.mode: "pro"в API, ниво Pro в Chat) кара модела да работи по-усърдно върху трудни задачи, които търпят по-голяма латентност. В API тази допълнителна работа се таксува на стандартния тарифен план за избрания модел, но консумира повече токъни. - Max, в Work и Codex, както и в API (
max), предоставя на модела повече време за разсъждение върху една единствена задача. - Ultra, само в Work и Codex, отива отвъд един единствен агент: той възлага части от сложна задача на под-агенти, които работят паралелно. Това е полезно само ако работата може да бъде разделена на независими парчета. GPT-6 Luna стига до Max, но не и до Ultra.
Какво променя разсъждението и какво не
Високото ниво на разсъждение прави разлика за конкретни семейства проблеми: математика и статистика, логика и дедукция, сложен код и дебъгване, стратегически анализ с претеглени критерии и като цяло всяка многоетапна задача. OpenAI препоръчва high за трудно разсъждение, сложно дебъгване и дълбоко планиране.
Това обаче не е вълшебна пръчица. Моделът все още може да прави грешки след разсъждение: една невярна предпоставка води до невярно заключение, независимо колко внимателен е процесът на разсъждение. Разсъждението увеличава времето за отговор и разходите. А за проста задача то не добавя нищо, което бързо ниво не би могло вече да обработи.
Опитайте сами
Вижте механизма в действие. Задайте този въпрос първо на бързо ниво, след това на високо ниво (Instant след това High в Chat, или low след това high в API): “Влак тръгва от Париж в 8:00 ч. сутринта, пътувайки със 120 км/ч. Друг тръгва от Лион, на 465 км разстояние, в 8:30 ч. сутринта, пътувайки със 150 км/ч към Париж. По кое време и на какво разстояние от Париж се срещат?” Проверете очаквания отговор сами: 10:00 ч., на 240 км от Париж. Ако използвате API, сравнете броя на токъните за разсъждение, отчетени в използването на отговора (usage) за двете нива.
Официални източници: Модели за разсъждение (OpenAI API: токъни за разсъждение, таксуване, контекст, обобщения, режим pro, нива на усилие) · Модели (документация на ChatGPT: Max и Ultra) · GPT-6 и други модели в ChatGPT (отговори, които започват по време на разсъждение)
Ключови изводи
- Разсъждението добавя токъни за мислене преди отговора; броят им нараства с избраното ниво
- Невидими, тези токъни заемат контекст и се таксуват като изходни токъни в API
- Осигурете достатъчен марж за изход, иначе отговорът ще се върне като непълен
- Pro кара модела да работи по-усърдно, Max му дава повече време, Ultra разпределя работата между под-агенти (Work и Codex)
- Разсъждението не имунизира срещу грешки: една невярна предпоставка води до невярно заключение