Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Upotreba tokena i reasoning_tokens

Lekcija 9 od 12 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Razumijevanje naplate tokena
  2. Standardni objekt usage
  3. reasoning_tokens: specifično za modele za rezoniranje
  4. Strategije optimizacije troškova
  5. Ključne točke

Ažurirano 3. studenoga 2026. Na temelju referencije xAI Chat Completions API-ja: max_tokens je zastario u korist max_completion_tokens, koji ograničava samo vidljivi odgovor. Izvor: Chat Completions.

Razumijevanje naplate tokena

Svaki zahtjev upućen Chat Completions API-ju naplaćuje se na temelju broja potrošenih tokena. Objekt usage u odgovoru daje ti točan broj, što je ključno za praćenje troškova, optimizaciju promptova i planiranje proračuna za API.

Standardni objekt usage

Evo strukture objekta usage koji se vraća uz svaki odgovor:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 342,
    "total_tokens": 469
  }
}

Tri osnovna brojača

  • prompt_tokens: broj tokena u tvojem zahtjevu (sistemska poruka + povijest + nova poruka). Ovo je „ulazna“ strana naplate.
  • completion_tokens: broj tokena koje je model generirao u svom odgovoru. Ovo je „izlazna“ strana.
  • total_tokens: zbroj prethodna dva. To je ukupni iznos koji se naplaćuje za ovaj zahtjev.

Utjecaj povijesti na troškove

Budući da je krajnja točka bez stanja (stateless), povijest se šalje sa svakim zahtjevom. To znači da se prompt_tokens povećava sa svakom razmjenom:

Razmjena 1 : prompt_tokens = 50   (sistem + 1 korisnička poruka)
Razmjena 2 : prompt_tokens = 150  (sistem + 2 korisničke + 1 asistentova)
Razmjena 3 : prompt_tokens = 300  (sistem + 3 korisničke + 2 asistentove)
Razmjena 10: prompt_tokens = 1500 (sistem + 10 korisničkih + 9 asistentovih)

Kod dugih razgovora, trošak povijesti može brzo premašiti trošak samog odgovora.

reasoning_tokens: specifično za modele za rezoniranje

Grok modeli s mogućnostima rezoniranja (poput grok-4.20-0309-reasoning) dodaju dodatno polje u objekt usage:

{
  "usage": {
    "prompt_tokens": 127,
    "completion_tokens": 892,
    "total_tokens": 1019,
    "completion_tokens_details": {
      "reasoning_tokens": 550
    }
  }
}

Što su reasoning_tokens?

reasoning_tokens predstavljaju tokene koje model koristi za svoje interno rezoniranje — „razmišljanje“ koje obavlja prije nego što proizvede konačni odgovor. Ti se tokeni generiraju, ali nisu vidljivi u polju content odgovora.

U gornjem primjeru:

  • Model je ukupno generirao 892 tokena (completion_tokens)
  • Od toga 550 internih tokena za rezoniranje (reasoning_tokens)
  • Preostaje 342 tokena vidljivog odgovora (892 - 550)

Zašto je to važno

Tokeni za rezoniranje se naplaćuju kao i obični tokeni dovršetka. Kod modela za rezoniranje, vidljivi odgovor može predstavljati samo dio ukupnog troška:

usage = response.usage

visible_tokens = usage.completion_tokens - usage.completion_tokens_details.reasoning_tokens
reasoning_tokens = usage.completion_tokens_details.reasoning_tokens

print(f"Visible tokens: {visible_tokens}")
print(f"Reasoning tokens: {reasoning_tokens}")
print(f"Reasoning ratio: {reasoning_tokens / usage.completion_tokens * 100:.0f}%")

Nije rijetkost da tokeni za rezoniranje čine 50 do 80 % tokena dovršetka kod složenih pitanja.

Strategije optimizacije troškova

Smanji prompt_tokens

  • Sažmi povijest: umjesto slanja cijelog razgovora, sažmi starije razmjene
  • Ograniči sistemsku poruku: sistemski prompt od 500 tokena rijetko je potreban — ciljaj na 100–200 tokena
  • Filtriraj poruke: šalji samo razmjene relevantne za trenutno pitanje

Kontroliraj completion_tokens

  • Koristi max_completion_tokens (max_tokens je zastario): ovo ograničava vidljivi odgovor, a ne rezoniranje
  • Odredi format: „Odgovori u 3 rečenice“ košta manje od „Detaljno objasni“
  • Odaberi pravi model: model bez rezoniranja jeftiniji je ako zadatak ne zahtijeva složeno razmišljanje

Prati troškove u produkciji

import json

def log_usage(response, requete_id: str):
    usage = response.usage
    log = {
        "id": requete_id,
        "prompt": usage.prompt_tokens,
        "completion": usage.completion_tokens,
        "total": usage.total_tokens,
    }
    if hasattr(usage, "completion_tokens_details") and usage.completion_tokens_details:
        log["reasoning"] = usage.completion_tokens_details.reasoning_tokens

    print(json.dumps(log))

Ključne točke

  • Objekt usage sadrži prompt_tokens, completion_tokens i total_tokens
  • prompt_tokens raste sa svakom razmjenom zbog slanja povijesti
  • Modeli za rezoniranje dodaju reasoning_tokens unutar completion_tokens_details
  • Tokeni za rezoniranje naplaćuju se po stopi izlaza, ali su nevidljivi u odgovoru — njihov udio u trošku ovisi o zadatku i naporu, stoga ga mjeri
  • Optimiziraj sažimanjem povijesti, prilagodbom napora rezoniranja, ograničavanjem max_completion_tokens i odabirom pravog modela