Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Tokenizacija: razumijevanje kako model vidi tvoj upit

Lekcija 3 od 16 Ažurirano 28. srpnja 2026. Programer
Na ovoj stranici
  1. Tokenizacija: razumijevanje kako model vidi tvoj upit
  2. Što je token?
  3. Utjecaj jezika na trošak
  4. Tri skupa zamke
  5. Optimizacija tvojih upita
  6. Izračun troška
  7. Ključne točke

Tokenizacija: razumijevanje kako model vidi tvoj upit

Model ne čita tekst; on obrađuje tokene. Ta razlika nije akademska. Ona određuje koliko plaćaš, koliko stane u tvoj kontekstni prozor i ponekad zašto model posrne na riječ za koju si mislio da je trivijalna. Razumijevanje tokenizacije daje ti tri konkretna poluga za tvoju aplikaciju: optimizaciju upita, kontrolu troškova i objašnjenje ponašanja koja se čine neobjašnjivima kada razmišljaš u riječima.

Što je token?

Token je osnovna jedinica kojom model manipulira. To nije ni riječ ni znak, već fragment teksta koji proizvodi algoritam kodiranja zvan BPE (Byte Pair Encoding), koji iterativno spaja najčešće nizove znakova u korpusu za obuku. U prosjeku, jedan token predstavlja oko 4 znaka u engleskom jeziku, no taj omjer znatno varira ovisno o jeziku. Skripta u nastavku to demonstrira na engleskoj rečenici i njezinom francuskom ekvivalentu, prikazujući stvarni razdjeljak. Vrijednije je vidjeti kako tokenizator reže „aujourd’hui“ (danas) nego bilo kakvo teorijsko objašnjenje.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Utjecaj jezika na trošak

Francuski jezik u prosjeku troši 20 % do 30 % više tokena od engleskog da bi izrazio istu ideju. To se događa jer je francuski manje zastupljen u korpusu za obuku tokenizatora, pa se njegove riječi češće dijele. Prva je posljedica financijska: plaćaš po ulaznom i izlaznom tokenu, stoga baza znanja na francuskom mehanički košta više od njezina engleskog prijevoda za identičan sadržaj. Druga posljedica tiče se kontekstnog prozora, koji se brže puni francuskim dokumentima – povijest razgovora koja je na engleskom držala trideset razmjena, na francuskom će držati samo dvadeset i četiri. Treća je latencija: budući da se svaki izlazni token generira sekvencijalno, odgovor na francuskom traje duže za prikazivanje od engleskog odgovora ekvivalentnog sadržaja.

~4
Znakova po token (EN)
~3
Znakova po token (FR)
$2.50
Ulaz GPT-5.6 Terra (po MTok)
200K
BPE o200k Encoding

Tri skupa zamke

Rijetke riječi i neologizmi su na vrhu liste. Budući da se rijetko pojavljuju u korpusu za obuku, dijele se na pod-tokene, što može umanjiti razumijevanje modela. To se posebno odnosi na tvoje interne reference proizvoda i vlastita kodna imena koja tokenizator nikada nije vidio:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON i strukturirani kod nose slično iznenađenje. Vitičaste zagrade, uglate zagrade i navodnici svaki troše jedan token, što znači da JSON s uvlačenjem košta znatno više od njegove minificirane verzije. U upitu s nekoliko primjera (few-shot) koji nosi nekoliko primjera payloada, tu razliku ne plaćaš jednom; plaćaš je pri svakom pozivu, cijeli dan.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

Najpodmuklija zamka je samo formatiranje: vodeći razmaci, prazne linije i uvlačenja svi se broje. Sistemski upit pažljivo poravnat radi čitljivosti tima košta više, za strogo identičan sadržaj, od kompaktnog upita. To nije razlog da pišeš nečitak kod, ali jest razlog da tu razmjenu napraviš svjesno.

Optimizacija tvojih upita

Zlatno je pravilo mjeriti prije optimizacije: tiktoken ti daje točan broj, dok intuicija često griješi za faktor dva. Jednom kad izmjeriš, daj prednost sažetim uputama. „Odgovori u JSON-u“ kaže točno ono što kaže „Želio bih da odgovoriš koristeći JSON format“, ali za trećinu tokena. U blokovima konteksta, kratice dobro funkcioniraju: model tumači „Q:“ i „A:“ jednako pouzdano kao „Question:“ i „Answer:“. Naposljetku, komprimiraj poslovni kontekst sažimanjem dugih dokumenata unaprijed, umjesto da kopiraš deset stranica dokumentacije u svaki zahtjev kada ti treba samo jedan odlomak.

Izračun troška

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Ova funkcija brzo postaje uslužni alat projekta: poveži je sa svojim upitima prije implementacije i reći će ti koliko će koštati dan prometa dok još imaš vremena djelovati. Proširi ovo vježbom koja se pokazuje poučnijom nego što izgleda. Instaliraj tiktoken (pip install tiktoken), tokeniziraj svoj najkompleksniji sistemski upit i identificiraj najskuplje segmente – gotovo uvijek su to primjeri s nekoliko pokušaja (few-shot) i JSON blokovi. Zatim ga prepši ciljajući na 20 % manje tokena bez gubitka ijednog dijela informacije. Usput ćeš otkriti koliko je rečenica u tvom upitu bilo tamo samo da te umiri.

Cjenik od 5. kolovoza 2026. – cijene se redovito mijenjaju. Prije planiranja proračuna provjeri trenutni cjenik na službenoj stranici OpenAI za cijene.

Ključne točke

  • Token nije riječ; to je fragment iz BPE-a
  • Francuski košta 20–30 % više tokena od engleskog
  • Sustavno mjeri svoje upite s tiktokenom
  • Optimiziraj JSON i formatiranje za smanjenje troškova
  • Kontekstni prozor mjeri se u tokenima, a ne u riječima