Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

max_completion_tokens a rozpočet tokenov

Lekcia 10 z 12 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Čo tento limit skutočne obmedzuje
  2. Usmerňovanie úvah: effort, nie limit
  3. Nastavenie veľkosti limitu výstupu
  4. Detekcia orezania
  5. Nezamieňať s limitom kontextu
  6. Kľúčové poznatky

Lekcia prepísaná 3. novembra 2026 na základe referencie xAI API (Chat Completions a Responses), príručky Reasoning a osvedčených postupov xAI: parametre max_completion_tokens a max_output_tokens obmedzujú iba viditeľnú odpoveď – tokeny určené na úvahy (reasoning) a tokeny volaní funkcií sa do tohto limitu nezapočítavajú – a predvolená hodnota je 128 000. Predchádzajúca verzia tvrdila opak a stanovovala limit na základe úvah; tiež nastavovala parameter effort pre model grok-4.20-0309-reasoning, ktorý ho neprijíma. Zdroje: Chat Completions · Responses · Reasoning.

Čo tento limit skutočne obmedzuje

Pri modeloch s úvahami si možno myslíš, že limit výstupu zdieľa svoj rozpočet medzi myslenie a odpoveď. Pri xAI to tak nie je. Referencia API je explicitná: max_completion_tokens (Chat Completions) a max_output_tokens (Responses API) platia výlučne pre viditeľné výstupné tokeny; tokeny úvah a tokeny volaní funkcií sa nepočítajú.

max_completion_tokens → iba viditeľná odpoveď
tokeny úvah → mimo limitu, riadené parametrom effort

Bez zadanej hodnoty tento limit predvolene dosahuje 128 000 tokenov. Čo sa týka starého parametra max_tokens, je zastaraný v prospech max_completion_tokens.

Usmerňovanie úvah: effort, nie limit

Keďže limit sa netýka úvah, ich množstvo reguluje parameter effort. Pri modeloch grok-4.7, grok-4.6 a grok-4.5 sa tento parameter nazýva reasoning_effort v Chat Completions a reasoning.effort v Responses API; predvolená hodnota je high, akceptuje hodnoty low a medium a od modelu Grok 4.6 aj xhigh. Úvahy nie je možné vypnúť.

Model grok-4.20-0309-reasoning tento parameter neprijíma: vždy vykonáva úvahy, zatiaľ čo jeho variant grok-4.20-0309-non-reasoning odpovedá bez úvah. Nakoniec, pri modeli grok-4.20-multi-agent parameter effort neurčuje hĺbku úvah, ale počet zapojených agentov (4 alebo 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # jednoduchá úloha: málo úvah
    messages=[{"role": "user", "content": "Classify this ticket: billing, access, or bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Počet tokenov úvah sa zobrazuje v štatistike použitia (usage): usage.completion_tokens_details.reasoning_tokens v Chat Completions a usage.output_tokens_details.reasoning_tokens v Responses API. Sú súčasťou fakturovaných tokenov: takže je to parameter effort, nie limit výstupu, ktorý ovplyvňuje túto položku.

Nastavenie veľkosti limitu výstupu

Limit slúži len na ohraničenie dĺžky samotnej odpovede. Osvedčené postupy xAI uvádzajú jednoduché pravidlo: nastav ho nad hodnotu najdlhšej očakávanej odpovede, alebo ponechaj predvolenú hodnotu 128 000 tokenov. Príliš nízky limit oreže viditeľnú odpoveď bez ohľadu na úsilie vynaložené na úvahy.

Očakávaná odpoveďRozumný limit výstupu
Štítok, čísloniekoľko desiatok tokenov
Odsek500 až 1 000 tokenov
Štruktúrovaná správaniekoľko tisíc tokenov
Žiadna presná predstavapredvolená hodnota

Detekcia orezania

Keď viditeľná odpoveď dosiahne limit, Chat Completions vráti v poli finish_reason hodnotu "length" namiesto "stop" a Responses API vráti stav incomplete. Túto situáciu môžeš odhaliť a skúsiť to znova s vyšším limitom:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Viditeľná odpoveď bola orezaná: skús to znova s vyšším limitom
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Nezamieňať s limitom kontextu

Limit výstupu je nezávislý od kontextového okna modelu – 500 000 tokenov pre grok-4.7, 1 milión pre grok-4.20-0309-reasoning – ktoré ohraničuje celú konverzáciu. Hlboká požiadavka na úvahy môže trvať niekoľko minút: xAI odporúča povoliť aspoň 900 sekúnd na požiadavku a uprednostniť streamovanie.

Kľúčové poznatky

  • max_completion_tokens a max_output_tokens obmedzujú iba viditeľnú odpoveď: úvahy sa do tohto limitu nezapočítavajú
  • Bez zadanej hodnoty limit výstupu predvolene dosahuje 128 000 tokenov; max_tokens je zastaraný
  • Množstvo úvah sa nastavuje parametrom effort (reasoning_effort alebo reasoning.effort) pri modeloch grok-4.5 až 4.7; model grok-4.20-0309-reasoning ho nemá
  • Tokeny úvah sa zobrazujú v štatistike použitia a sú súčasťou fakturácie
  • Orezaú odpoveď spoznáš podľa finish_reason: "length" alebo stavu incomplete