Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Tokenfelhasználás és a reasoning_tokens

9. lecke 12 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Értsd meg a tokenelszámolást
  2. A szabványos usage objektum
  3. reasoning_tokens: kifejezetten a következtető modellekhez
  4. Költségoptimalizálási stratégiák
  5. Főbb megállapítások

Frissítve: 2026. november 3. Az xAI Chat Completions API referenciája alapján: a max_tokens paramétert elavulttá nyilvánították a max_completion_tokens javára, amely kizárólag a látható választ korlátozza. Forrás: Chat Completions.

Értsd meg a tokenelszámolást

Minden Chat Completions API-kérés után a felhasznált tokenek száma alapján számolnak el. A válaszban található usage objektum pontos számlálót biztosít, ami elengedhetetlen a költségek nyomon követéséhez, a promptok optimalizálásához és az API-költségkereted megfelelő méretezéséhez.

A szabványos usage objektum

Íme a minden válaszban visszaküldött usage objektum szerkezete:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 342,
    "total_tokens": 469
  }
}

A három alapvető számláló

  • prompt_tokens: a kérésedben szereplő tokenek száma (rendszerüzenet + előzmények + új üzenet). Ez a számlázás „bemeneti“ oldala.
  • completion_tokens: a modell által a válaszában generált tokenek száma. Ez a „kimeneti“ oldal.
  • total_tokens: az előző kettő összege. Ez a teljes, erre a kérésre elszámolt mennyiség.

Az előzmények hatása a költségekre

Mivel a végpont állapot nélküli (stateless), az előzményeket minden kéréssel elküldöd. Ez azt jelenti, hogy a prompt_tokens száma minden egyes váltással nő:

1. váltás: prompt_tokens = 50   (rendszer + 1 felhasználói üzenet)
2. váltás: prompt_tokens = 150  (rendszer + 2 felhasználói + 1 asszisztens)
3. váltás: prompt_tokens = 300  (rendszer + 3 felhasználói + 2 asszisztens)
10. váltás: prompt_tokens = 1500 (rendszer + 10 felhasználói + 9 asszisztens)

Hosszú beszélgetések esetén az előzmények költsége gyorsan meghaladhatja maga a válasz költségét.

reasoning_tokens: kifejezetten a következtető modellekhez

A következtető képességekkel rendelkező Grok modellek (például a grok-4.20-0309-reasoning) egy extra mezőt adnak hozzá a usage objektumhoz:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 892,
    "total_tokens": 1019,
    "completion_tokens_details": {
      "reasoning_tokens": 550
    }
  }
}

Mik azok a reasoning_tokens?

A reasoning_tokens a modell belső következtetésére felhasznált tokeneket jelölik – azt a „gondolkodást“, amelyet a végső válasz létrehozása előtt végez. Ezek a tokenek generálódnak, de nem jelennek meg a válasz content mezőjében.

A fenti példában:

  • A modell összesen 892 tokent generált (completion_tokens)
  • Ebből 550 belső következtető token (reasoning_tokens)
  • Így 342 látható választoken marad (892 - 550)

Miért fontos ez?

A következtető tokeneket a normál kimeneti tokenekhez hasonlóan elszámolják. Egy következtető modell esetén a látható válasz a teljes költségnek csak egy töredékét képviselheti:

usage = response.usage

visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens

print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")

Nem ritka, hogy összetett kérdések esetén a következtető tokenek a kimeneti tokenek 50–80%-át tegyék ki.

Költségoptimalizálási stratégiák

Csökkentsd a prompt_tokens értékét

  • Összegezd az előzményeket: a teljes beszélgetés elküldése helyett foglald össze a régebbi váltásokat.
  • Korlátozd a rendszerüzenetet: egy 500 tokenes rendszerprompt ritkán szükséges – célozz meg 100–200 tokent.
  • Szűrd az üzeneteket: csak az aktuális kérdésre vonatkozó váltásokat küldd el.

Kontrolláld a completion_tokens értékét

  • Használd a max_completion_tokens paramétert (a max_tokens elavult): ez a látható választ korlátozza, nem a következtetést.
  • Határozd meg a formátumot: egy „Válaszolj 3 mondatban“ típusú kérés olcsóbb, mint egy „Részletesen magyarázd el“.
  • Válaszd ki a megfelelő modellt: ha a feladat nem igényel összetett gondolkodást, egy nem-következtető modell olcsóbb.

Költségek nyomon követése éles környezetben

import json

def log_usage(response, requete_id: str):
    usage = response.usage
    log = {
        "id": requete_id,
        "prompt": usage.prompt_tokens,
        "completion": usage.completion_tokens,
        "total": usage.total_tokens,
    }
    if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
        log["reasoning"] = usage.completion_tokens_details.reasoning_tokens

    print(json.dumps(log))

Főbb megállapítások

  • A usage objektum tartalmazza a prompt_tokens, completion_tokens és total_tokens értékeket.
  • A prompt_tokens értéke minden váltással nő az elküldött előzmények miatt.
  • A következtető modellek hozzáadják a reasoning_tokens mezőt a completion_tokens_details alatt.
  • A következtető tokeneket kimeneti áron számolják el, de láthatatlanok a válaszban; költségarányuk a feladattól és a ráfordított efforttől függ, ezért mérd őket.
  • Optimalizálj az előzmények összefoglalásával, a következtető effort beállításával, a max_completion_tokens korlátozásával és a megfelelő modell kiválasztásával.