max_completion_tokens a rozpočet tokenov
Na tejto strane
Lekcia prepísaná 3. novembra 2026 na základe referencie xAI API (Chat Completions a Responses), príručky Reasoning a osvedčených postupov xAI: parametre
max_completion_tokensamax_output_tokensobmedzujú iba viditeľnú odpoveď – tokeny určené na úvahy (reasoning) a tokeny volaní funkcií sa do tohto limitu nezapočítavajú – a predvolená hodnota je 128 000. Predchádzajúca verzia tvrdila opak a stanovovala limit na základe úvah; tiež nastavovala parameter effort pre modelgrok-4.20-0309-reasoning, ktorý ho neprijíma. Zdroje: Chat Completions · Responses · Reasoning.
Čo tento limit skutočne obmedzuje
Pri modeloch s úvahami si možno myslíš, že limit výstupu zdieľa svoj rozpočet medzi myslenie a odpoveď. Pri xAI to tak nie je. Referencia API je explicitná: max_completion_tokens (Chat Completions) a max_output_tokens (Responses API) platia výlučne pre viditeľné výstupné tokeny; tokeny úvah a tokeny volaní funkcií sa nepočítajú.
max_completion_tokens → iba viditeľná odpoveď
tokeny úvah → mimo limitu, riadené parametrom effort
Bez zadanej hodnoty tento limit predvolene dosahuje 128 000 tokenov. Čo sa týka starého parametra max_tokens, je zastaraný v prospech max_completion_tokens.
Usmerňovanie úvah: effort, nie limit
Keďže limit sa netýka úvah, ich množstvo reguluje parameter effort. Pri modeloch grok-4.7, grok-4.6 a grok-4.5 sa tento parameter nazýva reasoning_effort v Chat Completions a reasoning.effort v Responses API; predvolená hodnota je high, akceptuje hodnoty low a medium a od modelu Grok 4.6 aj xhigh. Úvahy nie je možné vypnúť.
Model grok-4.20-0309-reasoning tento parameter neprijíma: vždy vykonáva úvahy, zatiaľ čo jeho variant grok-4.20-0309-non-reasoning odpovedá bez úvah. Nakoniec, pri modeli grok-4.20-multi-agent parameter effort neurčuje hĺbku úvah, ale počet zapojených agentov (4 alebo 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # jednoduchá úloha: málo úvah
messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
Počet tokenov úvah sa zobrazuje v štatistike použitia (usage): usage.completion_tokens_details.reasoning_tokens v Chat Completions a usage.output_tokens_details.reasoning_tokens v Responses API. Sú súčasťou fakturovaných tokenov: takže je to parameter effort, nie limit výstupu, ktorý ovplyvňuje túto položku.
Nastavenie veľkosti limitu výstupu
Limit slúži len na ohraničenie dĺžky samotnej odpovede. Osvedčené postupy xAI uvádzajú jednoduché pravidlo: nastav ho nad hodnotu najdlhšej očakávanej odpovede, alebo ponechaj predvolenú hodnotu 128 000 tokenov. Príliš nízky limit oreže viditeľnú odpoveď bez ohľadu na úsilie vynaložené na úvahy.
| Očakávaná odpoveď | Rozumný limit výstupu |
|---|---|
| Štítok, číslo | niekoľko desiatok tokenov |
| Odsek | 500 až 1 000 tokenov |
| Štruktúrovaná správa | niekoľko tisíc tokenov |
| Žiadna presná predstava | predvolená hodnota |
Detekcia orezania
Keď viditeľná odpoveď dosiahne limit, Chat Completions vráti v poli finish_reason hodnotu "length" namiesto "stop" a Responses API vráti stav incomplete. Túto situáciu môžeš odhaliť a skúsiť to znova s vyšším limitom:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Viditeľná odpoveď bola orezaná: skús to znova s vyšším limitom
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Nezamieňať s limitom kontextu
Limit výstupu je nezávislý od kontextového okna modelu – 500 000 tokenov pre grok-4.7, 1 milión pre grok-4.20-0309-reasoning – ktoré ohraničuje celú konverzáciu. Hlboká požiadavka na úvahy môže trvať niekoľko minút: xAI odporúča povoliť aspoň 900 sekúnd na požiadavku a uprednostniť streamovanie.
Kľúčové poznatky
max_completion_tokensamax_output_tokensobmedzujú iba viditeľnú odpoveď: úvahy sa do tohto limitu nezapočítavajú- Bez zadanej hodnoty limit výstupu predvolene dosahuje 128 000 tokenov;
max_tokensje zastaraný - Množstvo úvah sa nastavuje parametrom effort (
reasoning_effortaleboreasoning.effort) pri modeloch grok-4.5 až 4.7; modelgrok-4.20-0309-reasoningho nemá - Tokeny úvah sa zobrazujú v štatistike použitia a sú súčasťou fakturácie
- Orezaú odpoveď spoznáš podľa
finish_reason: "length"alebo stavuincomplete