max_completion_tokens och token-budget
På denna sida
Lektionen omskriven den 3 november 2026 baserat på xAI:s API-referens (Chat Completions och Responses), guiden Reasoning och bästa praxis från xAI:
max_completion_tokensochmax_output_tokensbegränsar endast det synliga svaret – resonemangstokens och tokens för funktionsanrop räknas inte mot denna gräns – och standardvärdet är 128 000. Den tidigare versionen hävdade motsatsen och dimensionerade taket baserat på resonemang; den angav även en insatsnivå förgrok-4.20-0309-reasoning, vilket modellen inte accepterar. Källor: Chat Completions · Responses · Reasoning.
Vad taket faktiskt begränsar
För en resonemangsmodell kan du tro att utdatataket delar sin budget mellan tankeprocessen och svaret. Så är det inte hos xAI. API-referensen är tydlig: max_completion_tokens (Chat Completions) och max_output_tokens (Responses API) gäller endast synliga utdatatokens; resonemangstokens och tokens för funktionsanrop räknas inte med.
max_completion_tokens → endast synligt svar
reasoning tokens → utanför taket, styrs av effort
Utan ett angivet värde sätts detta tak som standard till 128 000 tokens. Den gamla parametern max_tokens är föråldrad till förmån för max_completion_tokens.
Styrning av resonemang: effort, inte taket
Eftersom taket inte påverkar resonemanget reglerar parametern effort mängden. På grok-4.7, grok-4.6 och grok-4.5 heter parametern reasoning_effort i Chat Completions och reasoning.effort i Responses API; standardvärdet är high, den accepterar low och medium, samt xhigh från och med Grok 4.6. Resonemang kan inte stängas av.
grok-4.20-0309-reasoning tar inte emot denna parameter: den resonerar alltid, medan varianten grok-4.20-0309-non-reasoning svarar utan resonemang. På grok-4.20-multi-agent slutligen styr inte effort djupet på resonemanget utan antalet agenter som mobiliseras (4 eller 16).
response = client.chat.completions.create(
model="grok-4.7",
reasoning_effort="low", # enkel uppgift: lite resonemang
messages=[{"role": "user", "content": "Klassificera detta ärende: fakturering, åtkomst eller bugg?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)
Antalet resonemangstokens visas i användningsstatistiken för svaret: usage.completion_tokens_details.reasoning_tokens i Chat Completions, usage.output_tokens_details.reasoning_tokens i Responses API. De ingår i de debiterade token: det är alltså effort, inte utdatataket, som påverkar denna kostnadspost.
Dimensionering av utdatataket
Taketet tjänar endast till att begränsa längden på själva svaret. Bästa praxis från xAI ger en enkel regel: sätt det högre än det längsta svar du förväntar dig, eller låt standardvärdet på 128 000 tokens gälla. Ett för snävt tak klipper av det synliga svaret, oavsett insatsnivå för resonemanget.
| Förväntat svar | Rimligt utdatatak |
|---|---|
| En etikett, ett tal | några dussin tokens |
| Ett stycke | 500 till 1 000 tokens |
| En strukturerad rapport | flera tusen tokens |
| Ingen exakt uppfattning | standardvärdet |
Upptäckt av avkortning
När det synliga svaret når taket returnerar Chat Completions "length" i finish_reason istället för "stop", och Responses API returnerar statusen incomplete. Du kan upptäcka denna situation och försöka igen med ett högre tak:
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=2000,
)
if response.choices[0].finish_reason == "length":
# Det synliga svaret klipptes: försök igen med högre tak
response = client.chat.completions.create(
model="grok-4.7",
messages=[{"role": "user", "content": question}],
max_completion_tokens=8000,
)
Förväxla inte med kontextgränsen
Utdata-taket är oberoende av modellens kontextfönster – 500 000 tokens för grok-4.7, 1 miljon för grok-4.20-0309-reasoning – vilket begränsar hela konversationen. En begäran om djupt resonemang kan dessutom ta flera minuter: xAI rekommenderar att du tillåter minst 900 sekunder per begäran och föredrar strömning.
Viktiga punkter
max_completion_tokensochmax_output_tokensbegränsar endast det synliga svaret: resonemang räknas inte mot detta- Utan angivet värde sätts utdata-taket som standard till 128 000 tokens;
max_tokensär föråldrat - Mängden resonemang styrs av effort (
reasoning_effortellerreasoning.effort) på grok-4.5 till 4.7;grok-4.20-0309-reasoningsaknar detta - Resonemangstokens visas i användningsstatistiken och ingår i faktureringen
- Ett avklippt svar upptäcks via
finish_reason: "length"eller statusenincomplete