Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Tokenizacija: razumevanje, kako model vidi vaš poziv

Lekcija 3 od 16 Posodobljeno 28. julij 2026 Razvijalec
Na tej strani
  1. Tokenizacija: razumevanje, kako model vidi vaš poziv
  2. Kaj je žeton?
  3. Vpliv jezika na stroške
  4. Tri drage pasti
  5. Optimizacija vaših pozivov
  6. Izračun stroškov
  7. Ključne ugotovitve

Tokenizacija: razumevanje, kako model vidi vaš poziv

Model ne bere besedila; obdeluje žetone. Ta razlika ni zgolj akademska. Določa, koliko plačate, koliko se jih prilega v vaše kontekstno okno in včasih tudi razlog, zakaj model spotakne ob besedo, za katero ste mislili, da je nepomembna. Razumevanje tokenizacije vam daje tri konkretne vzvode za vašo aplikacijo: optimizacijo pozivov, nadzor stroškov in razlago vedenj, ki se zdijo nepojasnljiva, če razmišljate v besedah.

Kaj je žeton?

Žeton je osnovna enota, s katero model upravlja. Ni niti beseda niti znak, ampak delček besedila, ki ga proizvede algoritem kodiranja z imenom BPE (Byte Pair Encoding), ki iterativno združuje najpogostejša zaporedja znakov v učnem korpusu. V povprečju en žeton predstavlja približno 4 znake v angleščini, vendar to razmerje močno variira glede na jezik. Spodnja skripta to demonstrira z angleškim stavkom in njegovim francoskim ustreznikom ter prikaže dejansko razdelitev. Pogled, kako tokenizator razreže „aujourd’hui” (danes), je vreden več kot katera koli teoretična razlaga.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Vpliv jezika na stroške

Francoščina v povprečju porabi 20 % do 30 % več žetonov kot angleščina za izražanje iste ideje. Do tega pride zato, ker je francoščina v učnem korpusu tokenizatorja manj zastopana, zato se njene besede pogosteje razcepijo. Prva posledica je finančna: plačujete na vhodni in izhodni žeton, zato baza znanja v francoščini mehansko stane več kot njen angleški prevod za enako vsebino. Druga posledica vpliva na kontekstno okno, ki se s francoskimi dokumenti hitreje napolni – zgodovina pogovora, ki bi v angleščini zdržala trideset izmenjav, v francoščini zdrži le štiriindvajset. Tretja je latenca: ker se vsak izhodni žeton generira zaporedno, francoski odgovor traja dlje, da se prikaže, kot angleški odgovor enake vsebine.

~4
Znakov na žeton (EN)
~3
Znakov na žeton (FR)
$2.50
Vhod GPT-5.6 Terra (na MTok)
200K
BPE o200k Encoding

Tri drage pasti

Redke besede in neologizmi so na vrhu seznama. Ker se v učnem korpusu pojavljajo redko, se razcepijo na podžetone, kar lahko poslabša razumevanje modela. To še posebej velja za vaše interne referenčne oznake izdelkov in domače kodne imena, ki jih tokenizator še nikoli ni videl:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON in strukturirana koda skrivata podobno presenečenje. Oklepaji, oglati oklepaji in narekovaji vsak porabijo žeton, kar pomeni, da JSON z zamiki stane bistveno več kot njegova minificirana različica. V pozivu z nekaj primeri (few-shot), ki nosi več primerov tovora, te razlike ne plačate samo enkrat; plačujete jo ob vsakem klicu, ves dan.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

Najbolj zahrbtna past je samo oblikovanje: vodilni presledki, prazne vrstice in zamiki se vštevajo. Sistemski poziv, skrbno poravnan za berljivost ekipe, stane več – za strogo enako vsebino – kot kompakten poziv. To ni razlog za pisanje neberljive kode, je pa razlog, da to menjavo opravite zavestno.

Optimizacija vaših pozivov

Zlato pravilo je meriti pred optimizacijo: tiktoken vam da točno število, medtem ko intuicija pogosto zgreši za faktor dva. Ko ste izmerili, raje uporabite jedrnata navodila. „Respond in JSON” pove natanko isto kot „I would like you to respond using the JSON format”, za tretjino žetonov. V kontekstnih blokih okrajšave dobro delujejo: model „Q:” in „A:” interpretira enako zanesljivo kot „Question:” in „Answer:”. Končno, stisnite poslovni kontekst s povzemanjem dolgih dokumentov vnaprej, namesto da bi v vsako zahtevo kopirali deset strani dokumentacije, ko potrebujete le en odstavek.

Izračun stroškov

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Ta funkcija hitro postane uporabnostni pripomoček projekta: povežite jo s svojimi pozivi pred uvedbo in povedala vam bo, koliko bo stal dnevni promet, medtem ko je še čas za ukrepanje. Razširite to z vajo, ki je bolj poučna, kot je videti. Namestite tiktoken (pip install tiktoken), tokenizirajte svoj najbolj kompleksen sistemski poziv in identificirajte najdražje segmente – skoraj vedno so to primeri few-shot in bloki JSON. Nato ga prepišite s ciljem 20 % manj žetonov, ne da bi izgubili košček informacij. Ob poti boste odkrili, koliko stavkov v vašem pozivu je bilo tam zgolj zato, da bi vas pomirili.

Cene na dan 5. avgusta 2026 – cene se redno spreminjajo. Pred proračunanjem preverite trenutni cenik na uradni strani OpenAI za cene.

Ključne ugotovitve

  • Žeton ni beseda; je delček iz BPE
  • Francoščina stane 20–30 % več žetonov kot angleščina
  • Sistematično merite svoje pozive s tiktoken
  • Optimizirajte JSON in oblikovanje za zmanjšanje stroškov
  • Kontekstno okno se meri v žetonih, ne v besedah