Spring til hovedindhold
Dansk— Vælg et sprog
Menu

max_completion_tokens og token-budget

Lektion 10 af 12 Opdateret 3. november 2026 Udvikler
På denne side
  1. Hvad grænsen faktisk begrænser
  2. Styring af ræsonnement: indsats, ikke grænsen
  3. Dimensionering af output-grænsen
  4. Registrering af afkortning
  5. Forveksl ikke med kontekstgrænsen
  6. Vigtige pointer

Lektionen er omskrevet den 3. november 2026 baseret på xAI API-referencen (Chat Completions og Responses), guiden om Reasoning og bedste praksis fra xAI: max_completion_tokens og max_output_tokens begrænser kun det synlige svar – tokens til ræsonnement og funktionskald tæller ikke med i denne grænse – og standardværdien er 128.000. Den tidligere version hævdede det modsatte og beregnede grænsen ud fra ræsonnement; den indstillede også en indsats på grok-4.20-0309-reasoning, hvilket modellen ikke accepterer. Kilder: Chat Completions · Responses · Reasoning.

Hvad grænsen faktisk begrænser

Hos en ræsonnementsmodel kunne man tro, at output-grænsen deler sit budget mellem tanker og svar. Det er ikke tilfældet hos xAI. API-referencen er tydelig: max_completion_tokens (Chat Completions) og max_output_tokens (Responses API) gælder kun for synlige output-tokens; tokens til ræsonnement og funktionskald tælles ikke med.

max_completion_tokens → kun synligt svar
reasoning tokens → uden for grænsen, styret af indsats

Uden en angivet værdi sættes denne grænse som standard til 128.000 tokens. Den gamle max_tokens er forældet til fordel for max_completion_tokens.

Styring af ræsonnement: indsats, ikke grænsen

Da grænsen ikke påvirker ræsonnementet, reguleres mængden af indsats. På grok-4.7, grok-4.6 og grok-4.5 hedder parameteren reasoning_effort i Chat Completions og reasoning.effort i Responses API; standardværdien er high, den accepterer low og medium, samt xhigh fra og med Grok 4.6. Ræsonnement kan ikke deaktiveres.

grok-4.20-0309-reasoning modtager ikke denne parameter: den ræsonnerer altid, mens varianten grok-4.20-0309-non-reasoning svarer uden ræsonnement. Endelig styrer indsatsen på grok-4.20-multi-agent ikke dybden af ræsonnementet, men antallet af mobiliserede agenter (4 eller 16).

response = client.chat.completions.create(
    model="grok-4.7",
    reasoning_effort="low",  # simpel opgave: lidt ræsonnement
    messages=[{"role": "user", "content": "Klassificér denne ticket: fakturering, adgang eller bug?"}],
)
print(response.usage.completion_tokens_details.reasoning_tokens)

Antallet af tokens til ræsonnement fremgår af svar-brugen: usage.completion_tokens_details.reasoning_tokens i Chat Completions og usage.output_tokens_details.reasoning_tokens i Responses API. De er en del af de fakturerede tokens: det er altså indsatsen, ikke output-grænsen, der påvirker denne post.

Dimensionering af output-grænsen

Grænsen tjener kun til at begrænse længden af selve svaret. Bedste praksis fra xAI giver en simpel regel: sæt den højere end det længste svar, du forventer, eller behold standardværdien på 128.000 tokens. En for stram grænse klipper det synlige svar over, uanset indsatsniveauet for ræsonnementet.

Forventet svarRimelig output-grænse
Et label, et talnogle få dusin tokens
Et afsnit500 til 1.000 tokens
En struktureret rapportflere tusinde tokens
Ingen præcis idéstandardværdien

Registrering af afkortning

Når det synlige svar rammer grænsen, returnerer Chat Completions "length" i finish_reason i stedet for "stop", og Responses API returnerer en status incomplete. Du kan registrere denne situation og forsøge igen med en højere grænse:

response = client.chat.completions.create(
    model="grok-4.7",
    messages=[{"role": "user", "content": question}],
    max_completion_tokens=2000,
)

if response.choices[0].finish_reason == "length":
    # Det synlige svar blev klippet over: forsøg igen med en højere grænse
    response = client.chat.completions.create(
        model="grok-4.7",
        messages=[{"role": "user", "content": question}],
        max_completion_tokens=8000,
    )

Forveksl ikke med kontekstgrænsen

Output-grænsen er uafhængig af modellens kontekstvindue – 500.000 tokens for grok-4.7, 1 million for grok-4.20-0309-reasoning – som begrænser hele samtalen. Og en anmodning om dybt ræsonnement kan tage flere minutter: xAI anbefaler at tillade mindst 900 sekunder pr. anmodning og foretrække streaming.

Vigtige pointer

  • max_completion_tokens og max_output_tokens begrænser kun det synlige svar: ræsonnement tæller ikke med heri
  • Uden en værdi er output-grænsen som standard 128.000 tokens; max_tokens er forældet
  • Mængden af ræsonnement styres af indsats (reasoning_effort eller reasoning.effort) på grok-4.5 til 4.7; grok-4.20-0309-reasoning har ikke dette
  • Tokens til ræsonnement fremgår af brugsstatistikken og er en del af fakturaen
  • Et afkortet svar registreres via finish_reason: "length" eller statussen incomplete