Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Využití tokenů a reasoning_tokens

Lekce 9 z 12 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Pochopte fakturaci tokenů
  2. Standardní objekt usage
  3. reasoning_tokens: specifické pro modely s uvažováním
  4. Strategie optimalizace nákladů
  5. Klíčové poznatky

Aktualizováno 3. listopadu 2026. Na základě reference API Chat Completions od xAI: parametr max_tokens je zastaralý ve prospěch max_completion_tokens, který omezuje pouze viditelnou odpověď. Zdroj: Chat Completions.

Pochopte fakturaci tokenů

Každý požadavek na API Chat Completions je fakturován na základě počtu spotřebovaných tokenů. Objekt usage v odpovědi ti poskytne přesný počet, což je zásadní pro monitorování nákladů, optimalizaci promptů a plánování rozpočtu pro API.

Standardní objekt usage

Zde je struktura objektu usage, který je vrácen s každou odpovědí:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 342,
    "total_tokens": 469
  }
}

Tři základní čítače

  • prompt_tokens: počet tokenů v tvém požadavku (systémová zpráva + historie + nová zpráva). Toto je vstupní strana fakturace.
  • completion_tokens: počet tokenů vygenerovaných modelem v jeho odpovědi. Toto je výstupní strana.
  • total_tokens: součet předchozích dvou hodnot. Toto je celková částka fakturovaná za tento požadavek.

Dopad historie na náklady

Protože je koncový bod bezstavový (stateless), historie se odesílá s každým požadavkem. To znamená, že prompt_tokens rostou s každou výměnou:

Výměna 1 : prompt_tokens = 50   (systém + 1 zpráva uživatele)
Výměna 2 : prompt_tokens = 150  (systém + 2 zprávy uživatele + 1 asistenta)
Výměna 3 : prompt_tokens = 300  (systém + 3 zprávy uživatele + 2 zprávy asistenta)
Výměna 10: prompt_tokens = 1500 (systém + 10 zpráv uživatele + 9 zpráv asistenta)

U dlouhých konverzací mohou náklady na historii rychle překročit náklady na samotnou odpověď.

reasoning_tokens: specifické pro modely s uvažováním

Modely Grok s kapacitou uvažování (například grok-4.20-0309-reasoning) přidávají do objektu usage další pole:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 892,
    "total_tokens": 1019,
    "completion_tokens_details": {
      "reasoning_tokens": 550
    }
  }
}

Co jsou reasoning_tokens?

reasoning_tokens představují tokeny použité modelem pro jeho vnitřní uvažování – „přemýšlení“, které provádí před vytvořením konečné odpovědi. Tyto tokeny jsou vygenerovány, ale nejsou viditelné v poli content odpovědi.

V příkladu výše:

  • Model vygeneroval celkem 892 tokenů (completion_tokens)
  • Včetně 550 interních tokenů uvažování (reasoning_tokens)
  • Zbývá 342 tokenů viditelné odpovědi (892 - 550)

Proč na tom záleží

Tokeny uvažování jsou fakturovány stejně jako běžné tokeny dokončení. U modelu s uvažováním může viditelná odpověď představovat pouze zlomek celkových nákladů:

usage = response.usage

visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens

print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")

Není neobvyklé, že tokeny uvažování představují 50 až 80 % tokenů dokončení u složitých otázek.

Strategie optimalizace nákladů

Snížení prompt_tokens

  • Shrň historii: místo odesílání celé konverzace shrň starší výměny
  • Omez systémovou zprávu: systémový prompt o 500 tokenech je zřídka nutný – cíl na 100–200 tokenů
  • Filtrace zpráv: odesílej pouze výměny relevantní pro aktuální otázku

Kontrola completion_tokens

  • Použij max_completion_tokens (max_tokens je zastaralý): omezuje viditelnou odpověď, nikoliv uvažování
  • Specifikuj formát: „Odpověz ve 3 větách“ stojí méně než „Vysvětli podrobně“
  • Vyber správný model: model bez uvažování je levnější, pokud úkol nevyžaduje složité myšlení

Monitorování nákladů v produkci

import json

def log_usage(response, requete_id: str):
    usage = response.usage
    log = {
        "id": requete_id,
        "prompt": usage.prompt_tokens,
        "completion": usage.completion_tokens,
        "total": usage.total_tokens,
    }
    if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
        log["reasoning"] = usage.completion_tokens_details.reasoning_tokens

    print(json.dumps(log))

Klíčové poznatky

  • Objekt usage obsahuje prompt_tokens, completion_tokens a total_tokens
  • prompt_tokens rostou s každou výměnou kvůli odesílané historii
  • Modely s uvažováním přidávají reasoning_tokens v rámci completion_tokens_details
  • Tokeny uvažování jsou fakturovány sazbou pro výstup, ale v odpovědi jsou neviditelné – jejich podíl na nákladech závisí na úkolu a úsilí, proto je měř
  • Optimalizuj shrnováním historie, úpravou úsilí při uvažování, omezením max_completion_tokens a výběrem vhodného modelu