Využití tokenů a reasoning_tokens
Na této stránce
Aktualizováno 3. listopadu 2026. Na základě reference API Chat Completions od xAI: parametr
max_tokensje zastaralý ve prospěchmax_completion_tokens, který omezuje pouze viditelnou odpověď. Zdroj: Chat Completions.
Pochopte fakturaci tokenů
Každý požadavek na API Chat Completions je fakturován na základě počtu spotřebovaných tokenů. Objekt usage v odpovědi ti poskytne přesný počet, což je zásadní pro monitorování nákladů, optimalizaci promptů a plánování rozpočtu pro API.
Standardní objekt usage
Zde je struktura objektu usage, který je vrácen s každou odpovědí:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Tři základní čítače
prompt_tokens: počet tokenů v tvém požadavku (systémová zpráva + historie + nová zpráva). Toto je vstupní strana fakturace.completion_tokens: počet tokenů vygenerovaných modelem v jeho odpovědi. Toto je výstupní strana.total_tokens: součet předchozích dvou hodnot. Toto je celková částka fakturovaná za tento požadavek.
Dopad historie na náklady
Protože je koncový bod bezstavový (stateless), historie se odesílá s každým požadavkem. To znamená, že prompt_tokens rostou s každou výměnou:
Výměna 1 : prompt_tokens = 50 (systém + 1 zpráva uživatele)
Výměna 2 : prompt_tokens = 150 (systém + 2 zprávy uživatele + 1 asistenta)
Výměna 3 : prompt_tokens = 300 (systém + 3 zprávy uživatele + 2 zprávy asistenta)
Výměna 10: prompt_tokens = 1500 (systém + 10 zpráv uživatele + 9 zpráv asistenta)
U dlouhých konverzací mohou náklady na historii rychle překročit náklady na samotnou odpověď.
reasoning_tokens: specifické pro modely s uvažováním
Modely Grok s kapacitou uvažování (například grok-4.20-0309-reasoning) přidávají do objektu usage další pole:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Co jsou reasoning_tokens?
reasoning_tokens představují tokeny použité modelem pro jeho vnitřní uvažování – „přemýšlení“, které provádí před vytvořením konečné odpovědi. Tyto tokeny jsou vygenerovány, ale nejsou viditelné v poli content odpovědi.
V příkladu výše:
- Model vygeneroval celkem 892 tokenů (
completion_tokens) - Včetně 550 interních tokenů uvažování (
reasoning_tokens) - Zbývá 342 tokenů viditelné odpovědi (892 - 550)
Proč na tom záleží
Tokeny uvažování jsou fakturovány stejně jako běžné tokeny dokončení. U modelu s uvažováním může viditelná odpověď představovat pouze zlomek celkových nákladů:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Není neobvyklé, že tokeny uvažování představují 50 až 80 % tokenů dokončení u složitých otázek.
Strategie optimalizace nákladů
Snížení prompt_tokens
- Shrň historii: místo odesílání celé konverzace shrň starší výměny
- Omez systémovou zprávu: systémový prompt o 500 tokenech je zřídka nutný – cíl na 100–200 tokenů
- Filtrace zpráv: odesílej pouze výměny relevantní pro aktuální otázku
Kontrola completion_tokens
- Použij
max_completion_tokens(max_tokensje zastaralý): omezuje viditelnou odpověď, nikoliv uvažování - Specifikuj formát: „Odpověz ve 3 větách“ stojí méně než „Vysvětli podrobně“
- Vyber správný model: model bez uvažování je levnější, pokud úkol nevyžaduje složité myšlení
Monitorování nákladů v produkci
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Klíčové poznatky
- Objekt
usageobsahujeprompt_tokens,completion_tokensatotal_tokens prompt_tokensrostou s každou výměnou kvůli odesílané historii- Modely s uvažováním přidávají
reasoning_tokensv rámcicompletion_tokens_details - Tokeny uvažování jsou fakturovány sazbou pro výstup, ale v odpovědi jsou neviditelné – jejich podíl na nákladech závisí na úkolu a úsilí, proto je měř
- Optimalizuj shrnováním historie, úpravou úsilí při uvažování, omezením
max_completion_tokensa výběrem vhodného modelu