Upotreba tokena i reasoning_tokens
Na ovoj stranici
Ažurirano 3. studenoga 2026. Na temelju referencije xAI Chat Completions API-ja:
max_tokensje zastario u koristmax_completion_tokens, koji ograničava samo vidljivi odgovor. Izvor: Chat Completions.
Razumijevanje naplate tokena
Svaki zahtjev upućen Chat Completions API-ju naplaćuje se na temelju broja potrošenih tokena. Objekt usage u odgovoru daje ti točan broj, što je ključno za praćenje troškova, optimizaciju promptova i planiranje proračuna za API.
Standardni objekt usage
Evo strukture objekta usage koji se vraća uz svaki odgovor:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 342,
"total_tokens": 469
}
}
Tri osnovna brojača
prompt_tokens: broj tokena u tvojem zahtjevu (sistemska poruka + povijest + nova poruka). Ovo je „ulazna“ strana naplate.completion_tokens: broj tokena koje je model generirao u svom odgovoru. Ovo je „izlazna“ strana.total_tokens: zbroj prethodna dva. To je ukupni iznos koji se naplaćuje za ovaj zahtjev.
Utjecaj povijesti na troškove
Budući da je krajnja točka bez stanja (stateless), povijest se šalje sa svakim zahtjevom. To znači da se prompt_tokens povećava sa svakom razmjenom:
Razmjena 1 : prompt_tokens = 50 (sistem + 1 korisnička poruka)
Razmjena 2 : prompt_tokens = 150 (sistem + 2 korisničke + 1 asistentova)
Razmjena 3 : prompt_tokens = 300 (sistem + 3 korisničke + 2 asistentove)
Razmjena 10: prompt_tokens = 1500 (sistem + 10 korisničkih + 9 asistentovih)
Kod dugih razgovora, trošak povijesti može brzo premašiti trošak samog odgovora.
reasoning_tokens: specifično za modele za rezoniranje
Grok modeli s mogućnostima rezoniranja (poput grok-4.20-0309-reasoning) dodaju dodatno polje u objekt usage:
{
"usage": {
"prompt_tokens": 127,
"completion_tokens": 892,
"total_tokens": 1019,
"completion_tokens_details": {
"reasoning_tokens": 550
}
}
}
Što su reasoning_tokens?
reasoning_tokens predstavljaju tokene koje model koristi za svoje interno rezoniranje — „razmišljanje“ koje obavlja prije nego što proizvede konačni odgovor. Ti se tokeni generiraju, ali nisu vidljivi u polju content odgovora.
U gornjem primjeru:
- Model je ukupno generirao 892 tokena (
completion_tokens) - Od toga 550 internih tokena za rezoniranje (
reasoning_tokens) - Preostaje 342 tokena vidljivog odgovora (892 - 550)
Zašto je to važno
Tokeni za rezoniranje se naplaćuju kao i obični tokeni dovršetka. Kod modela za rezoniranje, vidljivi odgovor može predstavljati samo dio ukupnog troška:
usage = response.usage
visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens
print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")
Nije rijetkost da tokeni za rezoniranje čine 50 do 80 % tokena dovršetka kod složenih pitanja.
Strategije optimizacije troškova
Smanji prompt_tokens
- Sažmi povijest: umjesto slanja cijelog razgovora, sažmi starije razmjene
- Ograniči sistemsku poruku: sistemski prompt od 500 tokena rijetko je potreban — ciljaj na 100–200 tokena
- Filtriraj poruke: šalji samo razmjene relevantne za trenutno pitanje
Kontroliraj completion_tokens
- Koristi
max_completion_tokens(max_tokensje zastario): ovo ograničava vidljivi odgovor, a ne rezoniranje - Odredi format: „Odgovori u 3 rečenice“ košta manje od „Detaljno objasni“
- Odaberi pravi model: model bez rezoniranja jeftiniji je ako zadatak ne zahtijeva složeno razmišljanje
Prati troškove u produkciji
import json
def log_usage(response, requete_id: str):
usage = response.usage
log = {
"id": requete_id,
"prompt": usage.prompt_tokens,
"completion": usage.completion_tokens,
"total": usage.total_tokens,
}
if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
log["reasoning"] = usage.completion_tokens_details.reasoning_tokens
print(json.dumps(log))
Ključne točke
- Objekt
usagesadržiprompt_tokens,completion_tokensitotal_tokens prompt_tokensraste sa svakom razmjenom zbog slanja povijesti- Modeli za rezoniranje dodaju
reasoning_tokensunutarcompletion_tokens_details - Tokeni za rezoniranje naplaćuju se po stopi izlaza, ali su nevidljivi u odgovoru — njihov udio u trošku ovisi o zadatku i naporu, stoga ga mjeri
- Optimiziraj sažimanjem povijesti, prilagodbom napora rezoniranja, ograničavanjem
max_completion_tokensi odabirom pravog modela