Uporaba žetonov in reasoning_tokens
Na tej strani
Posodobljeno 3. novembra 2026. Na podlagi referenčne dokumentacije API-ja xAI Chat Completions: parameter
max_tokensje zastarel v koristmax_completion_tokens, ki omejuje le vidni odgovor. Vir: Chat Completions.
Razumevanje obračuna žetonov
Vsaka zahteva, poslana API-ju Chat Completions, se zaračuna glede na število porabljenih žetonov. Predmet usage v odgovoru vam poda točno število, kar je ključno za spremljanje stroškov, optimizacijo pozivov in načrtovanje proračuna za API.
Standardni predmet usage
Tukaj je struktura predmeta usage, ki je vrnjen z vsakim odgovorom:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Trije osnovni števci
prompt_tokens: število žetonov v vaši zahtevi (sistemsko sporočilo + zgodovina + novo sporočilo). To je vhodna stran obračuna.completion_tokens: število žetonov, ki jih je model ustvaril v svojem odgovoru. To je izhodna stran.total_tokens: vsota prejšnjih dveh. To je skupni znesek, zaračunan za to zahtevo.
Vpliv zgodovine na stroške
Ker je končna točka brez stanja (stateless), se zgodovina pošlje z vsako zahtevo. To pomeni, da se prompt_tokens povečujejo z vsako izmenjavo:
Izmenjava 1 : prompt_tokens = 50 (sistem + 1 uporabniško sporočilo)
Izmenjava 2 : prompt_tokens = 150 (sistem + 2 uporabniški + 1 asistent)
Izmenjava 3 : prompt_tokens = 300 (sistem + 3 uporabniški + 2 asistenta)
Izmenjava 10: prompt_tokens = 1500 (sistem + 10 uporabniških + 9 asistentov)
Pri dolgih pogovorih lahko strošek zgodovine hitro preseže strošek samega odgovora.
reasoning_tokens: značilno za modele za sklepanje
Modeli Grok z zmogljivostmi sklepanja (kot je grok-4.20-0309-reasoning) dodajo dodatno polje predmetu usage:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Kaj so reasoning_tokens?
reasoning_tokens predstavljajo žetone, ki jih model porabi za svoje notranje sklepanje – „razmišljanje”, ki ga opravi, preden ustvari končni odgovor. Ti žetoni so ustvarjeni, vendar niso vidni v polju content odgovora.
V zgornjem primeru:
- Model je ustvaril skupaj 892 žetonov (
completion_tokens) - Vključno s 550 notranjimi žetoni za sklepanje (
reasoning_tokens) - Kar pusti 342 vidnih žetonov odgovora (892 - 550)
Zakaj je to pomembno
Žetoni za sklepanje se zaračunajo enako kot običajni žetoni za dokončanje. Pri modelu za sklepanje lahko vidni odgovor predstavlja le delček skupnih stroškov:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Ni redko, da žetoni za sklepanje predstavljajo od 50 do 80 % žetonov za dokončanje pri kompleksnih vprašanjih.
Strategije za optimizacijo stroškov
Zmanjšanje prompt_tokens
- Povzemite zgodovino: namesto pošiljanja celotnega pogovora povzemite starejše izmenjave
- Omejite sistemsko sporočilo: sistemski poziv z 500 žetoni je redko potreben – ciljajte na 100–200 žetonov
- Filtrirajte sporočila: pošljite le izmenjave, ki so relevantne za trenutno vprašanje
Nadzor completion_tokens
- Uporabite
max_completion_tokens(max_tokensje zastarel): omejuje vidni odgovor, ne pa sklepanja - Določite format: „Odgovori v 3 stavkih” stane manj kot „Podrobno razloži”
- Izberite pravi model: model brez zmogljivosti sklepanja je cenejši, če naloga ne zahteva kompleksnega razmišljanja
Spremljanje stroškov v produkciji
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Ključne ugotovitve
- Predmet
usagevsebujeprompt_tokens,completion_tokensintotal_tokens prompt_tokensse z vsako izmenjavo povečajo zaradi poslane zgodovine- Modeli za sklepanje dodajo
reasoning_tokensvcompletion_tokens_details - Žetoni za sklepanje se zaračunajo po izhodni tarifi, vendar v odgovoru niso vidni – njihov delež stroškov je odvisen od naloge in napora, zato ga izmerite
- Optimizirajte s povzemanjem zgodovine, prilagajanjem napora sklepanja, omejevanjem
max_completion_tokensin izbiro ustreznega modela