Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

max_completion_tokens och token-budget

Lektion 10 av 12 Uppdaterad 3 november 2026 Utvecklare
På denna sida
  1. Vad taket faktiskt begränsar
  2. Styrning av resonemang: effort, inte taket
  3. Dimensionering av utdatataket
  4. Upptäckt av avkortning
  5. Förväxla inte med kontextgränsen
  6. Viktiga punkter

Lektionen omskriven den 3 november 2026 baserat på xAI:s API-referens (Chat Completions och Responses), guiden Reasoning och bästa praxis från xAI: max_completion_tokens och max_output_tokens begränsar endast det synliga svaret – resonemangstokens och tokens för funktionsanrop räknas inte mot denna gräns – och standardvärdet är 128 000. Den tidigare versionen hävdade motsatsen och dimensionerade taket baserat på resonemang; den angav även en insatsnivå för grok-4.20-0309-reasoning, vilket modellen inte accepterar. Källor: Chat Completions · Responses · Reasoning.

Vad taket faktiskt begränsar

För en resonemangsmodell kan du tro att utdatataket delar sin budget mellan tankeprocessen och svaret. Så är det inte hos xAI. API-referensen är tydlig: max_completion_tokens (Chat Completions) och max_output_tokens (Responses API) gäller endast synliga utdatatokens; resonemangstokens och tokens för funktionsanrop räknas inte med.

max_completion_tokens → endast synligt svar
reasoning tokens → utanför taket, styrs av effort

Utan ett angivet värde sätts detta tak som standard till 128 000 tokens. Den gamla parametern max_tokens är föråldrad till förmån för max_completion_tokens.

Styrning av resonemang: effort, inte taket

Eftersom taket inte påverkar resonemanget reglerar parametern effort mängden. På grok-4.7, grok-4.6 och grok-4.5 heter parametern reasoning_effort i Chat Completions och reasoning.effort i Responses API; standardvärdet är high, den accepterar low och medium, samt xhigh från och med Grok 4.6. Resonemang kan inte stängas av.

grok-4.20-0309-reasoning tar inte emot denna parameter: den resonerar alltid, medan varianten grok-4.20-0309-non-reasoning svarar utan resonemang. På grok-4.20-multi-agent slutligen styr inte effort djupet på resonemanget utan antalet agenter som mobiliseras (4 eller 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # enkel uppgift: lite resonemang
    messages=[{"role": "user", "content": "Klassificera detta ärende: fakturering, åtkomst eller bugg?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Antalet resonemangstokens visas i användningsstatistiken för svaret: usage.completion_tokens_details.reasoning_tokens i Chat Completions, usage.output_tokens_details.reasoning_tokens i Responses API. De ingår i de debiterade token: det är alltså effort, inte utdatataket, som påverkar denna kostnadspost.

Dimensionering av utdatataket

Taketet tjänar endast till att begränsa längden på själva svaret. Bästa praxis från xAI ger en enkel regel: sätt det högre än det längsta svar du förväntar dig, eller låt standardvärdet på 128 000 tokens gälla. Ett för snävt tak klipper av det synliga svaret, oavsett insatsnivå för resonemanget.

Förväntat svarRimligt utdatatak
En etikett, ett talnågra dussin tokens
Ett stycke500 till 1 000 tokens
En strukturerad rapportflera tusen tokens
Ingen exakt uppfattningstandardvärdet

Upptäckt av avkortning

När det synliga svaret når taket returnerar Chat Completions "length" i finish_reason istället för "stop", och Responses API returnerar statusen incomplete. Du kan upptäcka denna situation och försöka igen med ett högre tak:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Det synliga svaret klipptes: försök igen med högre tak
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Förväxla inte med kontextgränsen

Utdata-taket är oberoende av modellens kontextfönster – 500 000 tokens för grok-4.7, 1 miljon för grok-4.20-0309-reasoning – vilket begränsar hela konversationen. En begäran om djupt resonemang kan dessutom ta flera minuter: xAI rekommenderar att du tillåter minst 900 sekunder per begäran och föredrar strömning.

Viktiga punkter

  • max_completion_tokens och max_output_tokens begränsar endast det synliga svaret: resonemang räknas inte mot detta
  • Utan angivet värde sätts utdata-taket som standard till 128 000 tokens; max_tokens är föråldrat
  • Mängden resonemang styrs av effort (reasoning_effort eller reasoning.effort) på grok-4.5 till 4.7; grok-4.20-0309-reasoning saknar detta
  • Resonemangstokens visas i användningsstatistiken och ingår i faktureringen
  • Ett avklippt svar upptäcks via finish_reason: "length" eller statusen incomplete