Премини към основното съдържание
Български— Изберете език
Меню

max_completion_tokens и бюджет за токени

Урок 10 от 12 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Какво всъщност ограничава лимитът
  2. Насочване на разсъждението: усилие, а не лимит
  3. Оразмеряване на лимита за изход
  4. Откриване на съкращаване
  5. Не го бъркайте с лимита на контекста
  6. Ключови изводи

Урокът е пренаписан на 3 ноември 2026 г. въз основа на справочника за xAI API (Chat Completions и Responses), ръководството за Reasoning и най-добрите практики на xAI: max_completion_tokens и max_output_tokens ограничават само видимия отговор – токените за разсъждение и токените за извикване на функции не се броят към този лимит – и по подразбиране са зададени на 128 000. Предишната версия твърдеше обратното и оразмеряваше лимита въз основа на разсъждението; също така задаваше усилие за grok-4.20-0309-reasoning, което не го приема. Източници: Chat Completions · Responses · Reasoning.

Какво всъщност ограничава лимитът

При модел за разсъждение може да си помислите, че лимитът за изход споделя бюджета си между мисловния процес и отговора. При xAI това не е така. Справочникът за API е категоричен: max_completion_tokens (Chat Completions) и max_output_tokens (Responses API) се прилагат само за видимите изходни токени; токените за разсъждение и токените за извикване на функции не се броят.

max_completion_tokens → само видимия отговор
токени за разсъждение → извън лимита, задават се чрез усилие

Без зададена стойност този лимит по подразбиране е 128 000 токена. Що се отнася до стария max_tokens, той е остарял в полза на max_completion_tokens.

Насочване на разсъждението: усилие, а не лимит

Тъй като лимитът не засяга разсъждението, количеството се регулира от усилието. При grok-4.7, grok-4.6 и grok-4.5 параметърът е reasoning_effort в Chat Completions и reasoning.effort в Responses API; по подразбиране е high, приема low и medium, а от Grok 4.6 нататък – и xhigh. Разсъждението не може да бъде изключено.

grok-4.20-0309-reasoning не приема този параметър: той винаги разсъждава, а неговият вариант grok-4.20-0309-non-reasoning отговаря без разсъждение. Накрая, при grok-4.20-multi-agent, усилието не задава дълбочината на разсъждението, а броя на мобилизираните агенти (4 или 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # проста задача: малко разсъждение
    messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Броят на токените за разсъждение се появява в използването на отговора: usage.completion_tokens_details.reasoning_tokens в Chat Completions, usage.output_tokens_details.reasoning_tokens в Responses API. Те са част от таксуваните токени: следователно именно усилието, а не лимитът за изход, тежи върху тази позиция във фактурата.

Оразмеряване на лимита за изход

Лимитът служи единствено за ограничаване на дължината на самия отговор. Най-добрите практики на xAI дават просто правило: задайте го над най-дългия очакван отговор или оставете стойността му по подразбиране от 128 000 токена. Твърде нисък лимит ще отреже видимия отговор, независимо от усилието за разсъждение.

Очакван отговорРазумен лимит за изход
Етикет, числоняколко десетки токена
Параграф500 до 1 000 токена
Структуриран докладняколко хиляди токена
Няма точна представастойността по подразбиране

Откриване на съкращаване

Когато видимият отговор достигне лимита, Chat Completions връща "length" в finish_reason вместо "stop", а Responses API връща статус incomplete. Можете да откриете тази ситуация и да опитате отново с по-висок лимит:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Видимият отговор е отрязан: опитайте отново с по-висок лимит
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Не го бъркайте с лимита на контекста

Лимитът за изход е независим от прозореца на контекста на модела – 500 000 токена за grok-4.7, 1 милион за grok-4.20-0309-reasoning – който ограничава целия разговор. Освен това заявка за дълбоко разсъждение може да отнеме няколко минути: xAI препоръчва да разрешавате поне 900 секунди на заявка и да предпочитате стрийминг.

Ключови изводи

  • max_completion_tokens и max_output_tokens ограничават само видимия отговор: разсъждението не се брой към този лимит
  • Без зададена стойност, лимитът за изход по подразбиране е 128 000 токена; max_tokens е остарял
  • Количеството разсъждение се задава чрез усилие (reasoning_effort или reasoning.effort) при grok-4.5 до 4.7; grok-4.20-0309-reasoning няма това
  • Токените за разсъждение се появяват в статистиката за използване и са част от фактурата
  • Отрязан отговор се открива чрез finish_reason: "length" или статуса incomplete