Tokenforbrug og reasoning_tokens
På denne side
Opdateret 3. november 2026. Baseret på xAI Chat Completions API-referencen:
max_tokenser udfaset til fordel formax_completion_tokens, som kun begrænser det synlige svar. Kilde: Chat Completions.
Forstå fakturering af tokens
Hver forespørgsel til Chat Completions API’et faktureres ud fra antallet af forbrugte tokens. Objektet usage i svaret giver dig en præks tælling, hvilket er afgørende for at overvåge omkostninger, optimere prompts og dimensionere dit API-budget.
Standard objektet for usage
Her er strukturen på objektet usage, der returneres med hvert svar:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
De tre grundlæggende tællere
prompt_tokens: antal tokens i din forespørgsel (systembesked + historik + ny besked). Dette er „input”-siden af faktureringen.completion_tokens: antal tokens genereret af modellen i dens svar. Dette er „output”-siden.total_tokens: summen af de to foregående. Dette er det samlede beløb, der faktureres for denne forespørgsel.
Historikkens indvirkning på omkostningerne
Da endpointet er stateless, sendes historikken med hver forespørgsel. Det betyder, at prompt_tokens stiger med hver udveksling:
Udveksling 1 : prompt_tokens = 50 (system + 1 brugerbesked)
Udveksling 2 : prompt_tokens = 150 (system + 2 bruger + 1 assistent)
Udveksling 3 : prompt_tokens = 300 (system + 3 bruger + 2 assistent)
Udveksling 10: prompt_tokens = 1500 (system + 10 bruger + 9 assistent)
Ved lange samtaler kan omkostningerne ved historikken hurtigt overstige omkostningerne ved selve svaret.
reasoning_tokens: Specifikt for ræsonneringsmodeller
Grok-modeller med ræsonneringsevner (såsom grok-4.20-0309-reasoning) tilføjer et ekstra felt til objektet usage:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Hvad er reasoning_tokens?
reasoning_tokens repræsenterer de tokens, modellen bruger til sin interne ræsonnering – den „tænkning”, den udfører, før den producerer sit endelige svar. Disse tokens genereres, men er ikke synlige i feltet content i svaret.
I eksemplet ovenfor:
- Modellen genererede i alt 892 tokens (
completion_tokens) - Heraf var 550 interne ræsonneringstokens (
reasoning_tokens) - Hvilket efterlod 342 synlige svar-tokens (892 - 550)
Hvorfor dette er vigtigt
Reasoning-tokens faktureres som normale completion-tokens. For en ræsonneringsmodel kan det synlige svar kun udgøre en brøkdel af de samlede omkostninger:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Det er ikke usædvanligt, at reasoning-tokens udgør 50 til 80 % af completion-tokens ved komplekse spørgsmål.
Strategier til optimering af omkostninger
Reducer prompt_tokens
- Opsummer historik: Send ikke hele samtalen, men opsummer ældre udvekslinger
- Begræns systembeskeden: En system-prompt på 500 tokens er sjældent nødvendig – sigt efter 100–200 tokens
- Filtrer beskeder: Send kun udvekslinger, der er relevante for det aktuelle spørgsmål
Styr completion_tokens
- Brug
max_completion_tokens(max_tokenser udfaset): Det begrænser det synlige svar, ikke ræsonneringen - Angiv formatet: „Svar i 3 sætninger” koster mindre end „Forklar i detaljer”
- Vælg den rigtige model: En model uden ræsonnering er billigere, hvis opgaven ikke kræver kompleks tænkning
Overvåg omkostninger i produktion
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Vigtige pointer
- Objektet
usageindeholderprompt_tokens,completion_tokensogtotal_tokens prompt_tokensstiger ved hver udveksling på grund af den medsendte historik- Ræsonneringsmodeller tilføjer
reasoning_tokensicompletion_tokens_details - Reasoning-tokens faktureres til output-raten, men er usynlige i svaret – deres andel af omkostningerne afhænger af opgaven og indsatsen, så mål det
- Optimer ved at opsummere historik, justere ræsonneringsindsatsen, begrænse
max_completion_tokensog vælge den rigtige model