Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

max_completion_tokens a rozpočet tokenů

Lekce 10 z 12 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Co limit ve skutečnosti omezuje
  2. Řízení uvažování: effort, nikoliv limit
  3. Nastavení velikosti limitu výstupu
  4. Detekce oříznutí
  5. Nezaměňovat s limitem kontextu
  6. Klíčové poznatky

Lekce přepsána 3. listopadu 2026 na základě reference k API xAI (Chat Completions a Responses), příručky Reasoning a osvědčených postupů xAI: parametry max_completion_tokens a max_output_tokens omezují pouze viditelnou odpověď – tokeny pro uvažování a tokeny volání funkcí se do tohoto limitu nezapočítávají – a ve výchozím nastavení mají hodnotu 128 000. Předchozí verze tvrdila opak a stanovovala limit na základě uvažování; rovněž nastavovala parametr effort pro model grok-4.20-0309-reasoning, který jej nepřijímá. Zdroje: Chat Completions · Responses · Reasoning.

Co limit ve skutečnosti omezuje

U modelu pro uvažování bys mohl předpokládat, že si limit výstupu dělí rozpočet mezi myšlenkový proces a odpověď. U xAI to tak však vůbec není. Reference k API je explicitní: max_completion_tokens (Chat Completions) a max_output_tokens (Responses API) platí pouze pro viditelné výstupní tokeny; tokeny pro uvažování a tokeny volání funkcí se do nich nezapočítávají.

max_completion_tokens → pouze viditelná odpověď
tokeny pro uvažování → mimo limit, řízeno parametrem effort

Pokud hodnotu nezadáš, tento limit má ve výchozím nastavení 128 000 tokenů. Co se týče starého parametru max_tokens, je zastaralý a byl nahrazen parametrem max_completion_tokens.

Řízení uvažování: effort, nikoliv limit

Protože se limit uvažování netýká, jeho množství reguluje parametr effort. U modelů grok-4.7, grok-4.6 a grok-4.5 se jedná o parametr reasoning_effort v Chat Completions a reasoning.effort v Responses API; výchozí hodnota je high, přijímá hodnoty low a medium a od modelu Grok 4.6 dále také xhigh. Uvažování nelze vypnout.

Model grok-4.20-0309-reasoning tento parametr nepřijímá: vždy uvažuje, zatímco jeho varianta grok-4.20-0309-non-reasoning odpovídá bez uvažování. U modelu grok-4.20-multi-agent konečně parametr effort neurčuje hloubku uvažování, ale počet zapojených agentů (4 nebo 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # jednoduchý úkol: malé množství uvažování
    messages=[{"role": "user", "content": "Klasifikuj tento tiket: billing, access, nebo bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Počet tokenů pro uvažování najdeš v údajích o využití v odpovědi: usage.completion_tokens_details.reasoning_tokens v Chat Completions a usage.output_tokens_details.reasoning_tokens v Responses API. Tyto tokeny jsou součástí fakturovaných tokenů: na tuto položku má tedy vliv parametr effort, nikoliv limit výstupu.

Nastavení velikosti limitu výstupu

Limit slouží pouze k omezení délky samotné odpovědi. Osvědčené postupy xAI dávají jednoduché pravidlo: nastav jej nad hodnotu nejdelší očekávané odpovědi, nebo ponech výchozí hodnotu 128 000 tokenů. Příliš nízký limit uřízne viditelnou odpověď, bez ohledu na nastavení effort pro uvažování.

Očekávaná odpověďRozumný limit výstupu
Štítek, čísloněkolik desítek tokenů
Odstavec500 až 1 000 tokenů
Strukturovaná zprávaněkolik tisíc tokenů
Žádná přesná představavýchozí hodnota

Detekce oříznutí

Když viditelná odpověď dosáhne limitu, Chat Completions vrátí v poli finish_reason hodnotu "length" místo "stop" a Responses API vrátí stav incomplete. Tuto situaci můžeš detekovat a zkusit požadavek opakovat s vyšším limitem:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Viditelná odpověď byla uříznuta: zkus to znovu s vyšším limitem
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Nezaměňovat s limitem kontextu

Limit výstupu je nezávislý na kontextovém okně modelu – 500 000 tokenů pro grok-4.7, 1 milion pro grok-4.20-0309-reasoning – které omezuje celou konverzaci. Požadavek na hluboké uvažování může trvat několik minut: xAI doporučuje vyhradit pro každý požadavek alespoň 900 sekund a upřednostňovat streamování.

Klíčové poznatky

  • max_completion_tokens a max_output_tokens omezují pouze viditelnou odpověď: uvažování se do tohoto limitu nezapočítává
  • Bez zadání hodnoty má limit výstupu výchozí hodnotu 128 000 tokenů; max_tokens je zastaralý
  • Množství uvažování se nastavuje parametrem effort (reasoning_effort nebo reasoning.effort) u modelů grok-4.5 až 4.7; model grok-4.20-0309-reasoning jej nemá
  • Tokeny pro uvažování se zobrazují ve využití a jsou součástí fakturace
  • Uříznutou odpověď detekuješ pomocí finish_reason: "length" nebo stavu incomplete