Využitie tokenov a reasoning_tokens
Na tejto strane
Aktualizované 3. novembra 2026. Na základe referencie API Chat Completions od xAI: parameter
max_tokensje zastaraný v prospechmax_completion_tokens, ktorý obmedzuje iba viditeľnú odpoveď. Zdroj: Chat Completions.
Pochopte fakturáciu tokenov
Každá požiadavka na API Chat Completions sa fakturuje na základe počtu spotrebovaných tokenov. Objekt usage v odpovedi ti poskytne presný počet, čo je kľúčové pre monitorovanie nákladov, optimalizáciu promptov a plánovanie rozpočtu pre API.
Štandardný objekt usage
Tu je štruktúra objektu usage, ktorý sa vráti s každou odpoveďou:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Tri základné počítadlá
prompt_tokens: počet tokenov v tvojej požiadavke (systémová správa + história + nová správa). Toto je vstupná strana fakturácie.completion_tokens: počet tokenov, ktoré model vygeneroval vo svojej odpovedi. Toto je výstupná strana.total_tokens: súčet predchádzajúcich dvoch hodnôt. Toto je celková suma fakturovaná za túto požiadavku.
Vplyv histórie na náklady
Keďže je koncový bod bezstavový (stateless), história sa odosiela s každou požiadavkou. To znamená, že prompt_tokens rastú s každou výmenou:
Výmena 1 : prompt_tokens = 50 (systém + 1 správa používateľa)
Výmena 2 : prompt_tokens = 150 (systém + 2 správy používateľa + 1 asistenta)
Výmena 3 : prompt_tokens = 300 (systém + 3 správy používateľa + 2 asistenta)
Výmena 10: prompt_tokens = 1500 (systém + 10 správ používateľa + 9 asistenta)
Pri dlhých konverzáciách môžu náklady na históriu rýchlo prevýšiť náklady na samotnú odpoveď.
reasoning_tokens: špecifické pre modely s usudzovaním
Modely Grok s kapacitou usudzovania (ako napríklad grok-4.20-0309-reasoning) pridávajú do objektu usage extra pole:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Čo sú reasoning_tokens?
reasoning_tokens predstavujú tokeny, ktoré model použil na svoje vnútorné usudzovanie – „premýšľanie“, ktoré vykoná pred vytvorením konečnej odpovede. Tieto tokeny sú vygenerované, ale nie sú viditeľné v poli content odpovede.
V vyššie uvedenom príklade:
- Model vygeneroval celkovo 892 tokenov (
completion_tokens) - Vrátane 550 interných tokenov usudzovania (
reasoning_tokens) - Čo ponecháva 342 tokenov viditeľnej odpovede (892 - 550)
Prečo na tom záleží
Tokeny usudzovania sa fakturujú rovnako ako bežné tokeny dokončenia. Pri modeli s usudzovaním môže viditeľná odpoveď predstavovať len zlomok celkových nákladov:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Nie je nezvyčajné, že tokeny usudzovania predstavujú 50 až 80 % tokenov dokončenia pri komplexných otázkach.
Stratégie optimalizácie nákladov
Zníženie prompt_tokens
- Zhrň históriu: namiesto odoslania celej konverzácie zhrň staršie výmeny
- Obmedz systémovú správu: systémový prompt s 500 tokenmi je zriedka potrebný – cieľom je 100 – 200 tokenov
- Filtruj správy: odosielaj iba výmeny relevantné pre aktuálnu otázku
Kontrola completion_tokens
- Použi
max_completion_tokens(max_tokensje zastarané): obmedzuje viditeľnú odpoveď, nie usudzovanie - Špecifikuj formát: „Odpovedz v 3 vetách“ stojí menej ako „Vysvetli podrobne“
- Vyber správny model: model bez usudzovania je lacnejší, ak úloha nevyžaduje komplexné myslenie
Monitorovanie nákladov v produkcii
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Kľúčové poznatky
- Objekt
usageobsahujeprompt_tokens,completion_tokensatotal_tokens prompt_tokensrastú s každou výmenou kvôli odosielanej histórii- Modely s usudzovaním pridávajú
reasoning_tokensv rámcicompletion_tokens_details - Tokeny usudzovania sa fakturujú sadzbou za výstup, ale v odpovedi sú neviditeľné – ich podiel na nákladoch závisí od úlohy a úsilia, preto ich meraj
- Optimalizuj zhrnutím histórie, úpravou úsilia o usudzovanie, obmedzením
max_completion_tokensa výberom správneho modelu