max_completion_tokens и бюджет за токени
На тази страница
Урокът е пренаписан на 3 ноември 2026 г. въз основа на справочника за xAI API (Chat Completions и Responses), ръководството за Reasoning и най-добрите практики на xAI:
max_completion_tokensиmax_output_tokensограничават само видимия отговор – токените за разсъждение и токените за извикване на функции не се броят към този лимит – и по подразбиране са зададени на 128 000. Предишната версия твърдеше обратното и оразмеряваше лимита въз основа на разсъждението; също така задаваше усилие заgrok-4.20-0309-reasoning, което не го приема. Източници: Chat Completions · Responses · Reasoning.
Какво всъщност ограничава лимитът
При модел за разсъждение може да си помислите, че лимитът за изход споделя бюджета си между мисловния процес и отговора. При xAI това не е така. Справочникът за API е категоричен: max_completion_tokens (Chat Completions) и max_output_tokens (Responses API) се прилагат само за видимите изходни токени; токените за разсъждение и токените за извикване на функции не се броят.
max_completion_tokens → само видимия отговор
токени за разсъждение → извън лимита, задават се чрез усилие
Без зададена стойност този лимит по подразбиране е 128 000 токена. Що се отнася до стария max_tokens, той е остарял в полза на max_completion_tokens.
Насочване на разсъждението: усилие, а не лимит
Тъй като лимитът не засяга разсъждението, количеството се регулира от усилието. При grok-4.7, grok-4.6 и grok-4.5 параметърът е reasoning_effort в Chat Completions и reasoning.effort в Responses API; по подразбиране е high, приема low и medium, а от Grok 4.6 нататък – и xhigh. Разсъждението не може да бъде изключено.
grok-4.20-0309-reasoning не приема този параметър: той винаги разсъждава, а неговият вариант grok-4.20-0309-non-reasoning отговаря без разсъждение. Накрая, при grok-4.20-multi-agent, усилието не задава дълбочината на разсъждението, а броя на мобилизираните агенти (4 или 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # проста задача: малко разсъждение
messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
Броят на токените за разсъждение се появява в използването на отговора: usage.completion_tokens_details.reasoning_tokens в Chat Completions, usage.output_tokens_details.reasoning_tokens в Responses API. Те са част от таксуваните токени: следователно именно усилието, а не лимитът за изход, тежи върху тази позиция във фактурата.
Оразмеряване на лимита за изход
Лимитът служи единствено за ограничаване на дължината на самия отговор. Най-добрите практики на xAI дават просто правило: задайте го над най-дългия очакван отговор или оставете стойността му по подразбиране от 128 000 токена. Твърде нисък лимит ще отреже видимия отговор, независимо от усилието за разсъждение.
| Очакван отговор | Разумен лимит за изход |
|---|---|
| Етикет, число | няколко десетки токена |
| Параграф | 500 до 1 000 токена |
| Структуриран доклад | няколко хиляди токена |
| Няма точна представа | стойността по подразбиране |
Откриване на съкращаване
Когато видимият отговор достигне лимита, Chat Completions връща "length" в finish_reason вместо "stop", а Responses API връща статус incomplete. Можете да откриете тази ситуация и да опитате отново с по-висок лимит:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Видимият отговор е отрязан: опитайте отново с по-висок лимит
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Не го бъркайте с лимита на контекста
Лимитът за изход е независим от прозореца на контекста на модела – 500 000 токена за grok-4.7, 1 милион за grok-4.20-0309-reasoning – който ограничава целия разговор. Освен това заявка за дълбоко разсъждение може да отнеме няколко минути: xAI препоръчва да разрешавате поне 900 секунди на заявка и да предпочитате стрийминг.
Ключови изводи
max_completion_tokensиmax_output_tokensограничават само видимия отговор: разсъждението не се брой към този лимит- Без зададена стойност, лимитът за изход по подразбиране е 128 000 токена;
max_tokensе остарял - Количеството разсъждение се задава чрез усилие (
reasoning_effortилиreasoning.effort) при grok-4.5 до 4.7;grok-4.20-0309-reasoningняма това - Токените за разсъждение се появяват в статистиката за използване и са част от фактурата
- Отрязан отговор се открива чрез
finish_reason: "length"или статусаincomplete