Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Využitie tokenov a reasoning_tokens

Lekcia 9 z 12 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Pochopte fakturáciu tokenov
  2. Štandardný objekt usage
  3. reasoning_tokens: špecifické pre modely s usudzovaním
  4. Stratégie optimalizácie nákladov
  5. Kľúčové poznatky

Aktualizované 3. novembra 2026. Na základe referencie API Chat Completions od xAI: parameter max_tokens je zastaraný v prospech max_completion_tokens, ktorý obmedzuje iba viditeľnú odpoveď. Zdroj: Chat Completions.

Pochopte fakturáciu tokenov

Každá požiadavka na API Chat Completions sa fakturuje na základe počtu spotrebovaných tokenov. Objekt usage v odpovedi ti poskytne presný počet, čo je kľúčové pre monitorovanie nákladov, optimalizáciu promptov a plánovanie rozpočtu pre API.

Štandardný objekt usage

Tu je štruktúra objektu usage, ktorý sa vráti s každou odpoveďou:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 342,
    "total_tokens": 469
  }
}

Tri základné počítadlá

  • prompt_tokens: počet tokenov v tvojej požiadavke (systémová správa + história + nová správa). Toto je vstupná strana fakturácie.
  • completion_tokens: počet tokenov, ktoré model vygeneroval vo svojej odpovedi. Toto je výstupná strana.
  • total_tokens: súčet predchádzajúcich dvoch hodnôt. Toto je celková suma fakturovaná za túto požiadavku.

Vplyv histórie na náklady

Keďže je koncový bod bezstavový (stateless), história sa odosiela s každou požiadavkou. To znamená, že prompt_tokens rastú s každou výmenou:

Výmena 1 : prompt_tokens = 50   (systém + 1 správa používateľa)
Výmena 2 : prompt_tokens = 150  (systém + 2 správy používateľa + 1 asistenta)
Výmena 3 : prompt_tokens = 300  (systém + 3 správy používateľa + 2 asistenta)
Výmena 10: prompt_tokens = 1500 (systém + 10 správ používateľa + 9 asistenta)

Pri dlhých konverzáciách môžu náklady na históriu rýchlo prevýšiť náklady na samotnú odpoveď.

reasoning_tokens: špecifické pre modely s usudzovaním

Modely Grok s kapacitou usudzovania (ako napríklad grok-4.20-0309-reasoning) pridávajú do objektu usage extra pole:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 892,
    "total_tokens": 1019,
    "completion_tokens_details": {
      "reasoning_tokens": 550
    }
  }
}

Čo sú reasoning_tokens?

reasoning_tokens predstavujú tokeny, ktoré model použil na svoje vnútorné usudzovanie – „premýšľanie“, ktoré vykoná pred vytvorením konečnej odpovede. Tieto tokeny sú vygenerované, ale nie sú viditeľné v poli content odpovede.

V vyššie uvedenom príklade:

  • Model vygeneroval celkovo 892 tokenov (completion_tokens)
  • Vrátane 550 interných tokenov usudzovania (reasoning_tokens)
  • Čo ponecháva 342 tokenov viditeľnej odpovede (892 - 550)

Prečo na tom záleží

Tokeny usudzovania sa fakturujú rovnako ako bežné tokeny dokončenia. Pri modeli s usudzovaním môže viditeľná odpoveď predstavovať len zlomok celkových nákladov:

usage = response.usage

visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens

print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")

Nie je nezvyčajné, že tokeny usudzovania predstavujú 50 až 80 % tokenov dokončenia pri komplexných otázkach.

Stratégie optimalizácie nákladov

Zníženie prompt_tokens

  • Zhrň históriu: namiesto odoslania celej konverzácie zhrň staršie výmeny
  • Obmedz systémovú správu: systémový prompt s 500 tokenmi je zriedka potrebný – cieľom je 100 – 200 tokenov
  • Filtruj správy: odosielaj iba výmeny relevantné pre aktuálnu otázku

Kontrola completion_tokens

  • Použi max_completion_tokens (max_tokens je zastarané): obmedzuje viditeľnú odpoveď, nie usudzovanie
  • Špecifikuj formát: „Odpovedz v 3 vetách“ stojí menej ako „Vysvetli podrobne“
  • Vyber správny model: model bez usudzovania je lacnejší, ak úloha nevyžaduje komplexné myslenie

Monitorovanie nákladov v produkcii

import json

def log_usage(response, requete_id: str):
    usage = response.usage
    log = {
        "id": requete_id,
        "prompt": usage.prompt_tokens,
        "completion": usage.completion_tokens,
        "total": usage.total_tokens,
    }
    if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
        log["reasoning"] = usage.completion_tokens_details.reasoning_tokens

    print(json.dumps(log))

Kľúčové poznatky

  • Objekt usage obsahuje prompt_tokens, completion_tokens a total_tokens
  • prompt_tokens rastú s každou výmenou kvôli odosielanej histórii
  • Modely s usudzovaním pridávajú reasoning_tokens v rámci completion_tokens_details
  • Tokeny usudzovania sa fakturujú sadzbou za výstup, ale v odpovedi sú neviditeľné – ich podiel na nákladoch závisí od úlohy a úsilia, preto ich meraj
  • Optimalizuj zhrnutím histórie, úpravou úsilia o usudzovanie, obmedzením max_completion_tokens a výberom správneho modelu