Tokenfelhasználás és a reasoning_tokens
Ezen az oldalon
Frissítve: 2026. november 3. Az xAI Chat Completions API referenciája alapján: a
max_tokensparamétert elavulttá nyilvánították amax_completion_tokensjavára, amely kizárólag a látható választ korlátozza. Forrás: Chat Completions.
Értsd meg a tokenelszámolást
Minden Chat Completions API-kérés után a felhasznált tokenek száma alapján számolnak el. A válaszban található usage objektum pontos számlálót biztosít, ami elengedhetetlen a költségek nyomon követéséhez, a promptok optimalizálásához és az API-költségkereted megfelelő méretezéséhez.
A szabványos usage objektum
Íme a minden válaszban visszaküldött usage objektum szerkezete:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
A három alapvető számláló
prompt_tokens: a kérésedben szereplő tokenek száma (rendszerüzenet + előzmények + új üzenet). Ez a számlázás „bemeneti“ oldala.completion_tokens: a modell által a válaszában generált tokenek száma. Ez a „kimeneti“ oldal.total_tokens: az előző kettő összege. Ez a teljes, erre a kérésre elszámolt mennyiség.
Az előzmények hatása a költségekre
Mivel a végpont állapot nélküli (stateless), az előzményeket minden kéréssel elküldöd. Ez azt jelenti, hogy a prompt_tokens száma minden egyes váltással nő:
1. váltás: prompt_tokens = 50 (rendszer + 1 felhasználói üzenet)
2. váltás: prompt_tokens = 150 (rendszer + 2 felhasználói + 1 asszisztens)
3. váltás: prompt_tokens = 300 (rendszer + 3 felhasználói + 2 asszisztens)
10. váltás: prompt_tokens = 1500 (rendszer + 10 felhasználói + 9 asszisztens)
Hosszú beszélgetések esetén az előzmények költsége gyorsan meghaladhatja maga a válasz költségét.
reasoning_tokens: kifejezetten a következtető modellekhez
A következtető képességekkel rendelkező Grok modellek (például a grok-4.20-0309-reasoning) egy extra mezőt adnak hozzá a usage objektumhoz:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Mik azok a reasoning_tokens?
A reasoning_tokens a modell belső következtetésére felhasznált tokeneket jelölik – azt a „gondolkodást“, amelyet a végső válasz létrehozása előtt végez. Ezek a tokenek generálódnak, de nem jelennek meg a válasz content mezőjében.
A fenti példában:
- A modell összesen 892 tokent generált (
completion_tokens) - Ebből 550 belső következtető token (
reasoning_tokens) - Így 342 látható választoken marad (892 - 550)
Miért fontos ez?
A következtető tokeneket a normál kimeneti tokenekhez hasonlóan elszámolják. Egy következtető modell esetén a látható válasz a teljes költségnek csak egy töredékét képviselheti:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Nem ritka, hogy összetett kérdések esetén a következtető tokenek a kimeneti tokenek 50–80%-át tegyék ki.
Költségoptimalizálási stratégiák
Csökkentsd a prompt_tokens értékét
- Összegezd az előzményeket: a teljes beszélgetés elküldése helyett foglald össze a régebbi váltásokat.
- Korlátozd a rendszerüzenetet: egy 500 tokenes rendszerprompt ritkán szükséges – célozz meg 100–200 tokent.
- Szűrd az üzeneteket: csak az aktuális kérdésre vonatkozó váltásokat küldd el.
Kontrolláld a completion_tokens értékét
- Használd a
max_completion_tokensparamétert (amax_tokenselavult): ez a látható választ korlátozza, nem a következtetést. - Határozd meg a formátumot: egy „Válaszolj 3 mondatban“ típusú kérés olcsóbb, mint egy „Részletesen magyarázd el“.
- Válaszd ki a megfelelő modellt: ha a feladat nem igényel összetett gondolkodást, egy nem-következtető modell olcsóbb.
Költségek nyomon követése éles környezetben
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Főbb megállapítások
- A
usageobjektum tartalmazza aprompt_tokens,completion_tokenséstotal_tokensértékeket. - A
prompt_tokensértéke minden váltással nő az elküldött előzmények miatt. - A következtető modellek hozzáadják a
reasoning_tokensmezőt acompletion_tokens_detailsalatt. - A következtető tokeneket kimeneti áron számolják el, de láthatatlanok a válaszban; költségarányuk a feladattól és a ráfordított efforttől függ, ezért mérd őket.
- Optimalizálj az előzmények összefoglalásával, a következtető effort beállításával, a
max_completion_tokenskorlátozásával és a megfelelő modell kiválasztásával.