max_completion_tokens un žetonu budžets
Šajā lapā
Nodarbība pārrakstīta 2026. gada 3. novembrī, balstoties uz xAI API atsauces materiāliem (Chat Completions un Responses), Reasoning rokasgrāmatu un xAI labās prakses vadlīnijām:
max_completion_tokensunmax_output_tokensierobežo tikai redzamo atbildi — spriešanas žetoni un funkciju izsaukumu žetoni netiek ieskaitīti šajā limitā — un pēc noklusējuma ir 128 000. Iepriekšējā versija apgalvoja pretējo un noteica limitu, balstoties uz spriešanu; tā arī uzstādīja parametrueffortmodelimgrok-4.20-0309-reasoning, kas to nepieņem. Avoti: Chat Completions · Responses · Reasoning.
Ko limits faktiski ierobežo
Strādājot ar spriešanas modeli, tu vari domāt, ka izvades limits sadala budžetu starp domāšanas procesu un atbildi. Pie xAI tas tā nav. API dokumentācija ir skaidra: max_completion_tokens (Chat Completions) un max_output_tokens (Responses API) attiecas tikai uz redzamajiem izvades žetoniem; spriešanas žetoni un funkciju izsaukumu žetoni netiek ieskaitīti.
max_completion_tokens → tikai redzamā atbilde
spriešanas žetoni → ārpus limita, ko nosaka effort
Ja vērtība nav norādīta, šis limits pēc noklusējuma ir 128 000 žetonu. Kas attiecas uz veco max_tokens, tas ir novecojis par labu max_completion_tokens.
Spriešanas virzīšana: effort, nevis limits
Tā kā limits neietekmē spriešanu, tās apjomu regulē parametrs effort. Modeļiem grok-4.7, grok-4.6 un grok-4.5 Chat Completions vidē tas ir reasoning_effort, bet Responses API — reasoning.effort; pēc noklusējuma tas ir high, pieņem vērtības low un medium, un no Grok 4.6 versijas arī xhigh. Spriešanu nevar atslēgt.
Modelis grok-4.20-0309-reasoning šo parametru nepieņem: tas vienmēr veic spriešanu, savukārt tā variants grok-4.20-0309-non-reasoning sniedz atbildes bez spriešanas. Savukārt modelī grok-4.20-multi-agent parametrs effort nenosaka spriešanas dziļumu, bet gan mobilizēto aģentu skaitu (4 vai 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # vienkāršs uzdevums: maz spriešanas
messages=[{"role": "user", "content": "Klasificē šo pieteikumu: rēķins, piekļuve vai kļūda?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
Spriešanas žetonu skaits parādās atbildes lietojuma statistikā: usage.completion_tokens_details.reasoning_tokens priekš Chat Completions un usage.output_tokens_details.reasoning_tokens priekš Responses API. Tie ir daļa no apmaksājamiem žetoniem: tātad tieši effort, nevis izvades limits, ietekmē šo izdevumu pozīciju.
Izvades limita noteikšana
Limits kalpo tikai tam, lai ierobežotu pašas atbildes garumu. xAI labās prakses vadlīnijas piedāvā vienkāršu likumu: iestati to virs garākās paredzamās atbildes vai atstāj noklusējuma vērtību 128 000 žetonu. Pārāk zems limits apgriezīs redzamo atbildi neatkarīgi no spriešanas intensitātes.
| Paredzamā atbilde | Saprotams izvades limits |
|---|---|
| Etiķete, skaitlis | daži desmiti žetonu |
| Rindkopa | 500 līdz 1000 žetonu |
| Strukturēts ziņojums | vairāki tūkstoši žetonu |
| Nav precīzas nojausmas | noklusējuma vērtība |
Apgraizīšanas noteikšana
Kad redzamā atbilde sasniedz limitu, Chat Completions atgriež "length" laukā finish_reason (nevis "stop"), bet Responses API atgriež statusu incomplete. Tu vari noteikt šo situāciju un mēģināt vēlreiz ar lielāku limitu:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Redzamā atbilde tika apgriezta: mēģini vēlreiz ar lielāku limitu
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Nejaukt ar konteksta limitu
Izvades limits ir neatkarīgs no modeļa konteksta loga — 500 000 žetonu modelim grok-4.7, 1 miljons modelim grok-4.20-0309-reasoning — kas ierobežo visu sarunu. Turklāt dziļš spriešanas pieprasījums var ilgt vairākas minūtes: xAI iesaka katram pieprasījumam atvēlēt vismaz 900 sekundes un dot priekšroku straumēšanai.
Galvenās atziņas
max_completion_tokensunmax_output_tokensierobežo tikai redzamo atbildi: spriešana netiek ieskaitīta šajā limitā- Bez norādītas vērtības izvades limits pēc noklusējuma ir 128 000 žetonu;
max_tokensir novecojis - Spriešanas apjomu nosaka parametrs
effort(reasoning_effortvaireasoning.effort) modeļiem no grok-4.5 līdz 4.7; modelimgrok-4.20-0309-reasoningtāda nav - Spriešanas žetoni parādās lietojuma statistikā un tiek iekļauti rēķinā
- Apgrieztu atbildi nosaka pēc
finish_reason: "length"vai statusaincomplete