Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Tokenizácia: Ako model vidí váš prompt

Lekcia 3 z 16 Aktualizované 28. júla 2026 Vývojár
Na tejto strane
  1. Tokenizácia: Ako model vidí váš prompt
  2. Čo je token?
  3. Vplyv jazyka na náklady
  4. Tri nákladné pasce
  5. Optimalizácia tvojich promptov
  6. Výpočet nákladov
  7. Kľúčové poznatky

Tokenizácia: Ako model vidí váš prompt

Model nečíta text; spracováva tokeny. Tento rozdiel nie je len akademický. Určuje, koľko zaplatíš, koľko sa zmestí do kontextového okna a niekedy aj to, prečo model zakopne o slovo, ktoré sa ti zdalo triviálne. Pochopenie tokenizácie ti dáva tri konkrétne páky pre tvoju aplikáciu: optimalizáciu promptov, kontrolu nákladov a vysvetlenie správania, ktoré sa zdá nevysvetliteľné, keď myslíš v slovách.

Čo je token?

Token je základná jednotka, ktorou model manipuluje. Nie je to ani slovo, ani znak, ale úryvok textu vytvorený algoritmom kódovania nazývaným BPE (Byte Pair Encoding), ktorý iteratívne spája najčastejšie sekvencie znakov v trénovacom korpuse. Priemerne jeden token predstavuje asi 4 znaky v angličtine, no tento pomer sa výrazne líši podľa jazyka. Nasledujúci skript to demonštruje na anglickej vete a jej francúzskom ekvivalente, pričom ukazuje skutočné rozdelenie. Vidieť, ako tokenizátor rozreže slovo „aujourd’hui“ (dnes), má väčšiu vypovedaciu hodnotu než akékoľvek teoretické vysvetlenie.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Vplyv jazyka na náklady

Francúzština spotrebuje priemerne o 20 % až 30 % viac tokenov než angličtina na vyjadrenie tej istej myšlienky. Deje sa tak preto, lebo francúzština je v trénovacom korpuse tokenizátora menej zastúpená, takže jej slová sa častejšie rozdeľujú. Prvým dôsledkom je finančný: platíš za vstupné aj výstupné tokeny, takže znalostná báza vo francúzštine stojí mechanicky viac než jej anglický preklad pri identickom obsahu. Druhým dôsledkom je kontextové okno, ktoré sa pri francúzskych dokumentoch zaplní rýchlejšie – história konverzácie, ktorá po anglicky pojme tridsať výmen, po francúzsky pojme len dvadsaťštyri. Tretím dôsledkom je latencia: keďže každý výstupný token sa generuje sekvenčne, francúzska odpoveď sa zobrazuje dlhšie než anglická odpoveď s rovnakým obsahom.

~4
Znaky na token (EN)
~3
Znaky na token (FR)
$2.50
Vstup GPT-5.6 Terra (na MTok)
200K
Kódovanie BPE o200k

Tri nákladné pasce

Na prvom mieste sú zriedkavé slová a neologizmy. Keďže sa v trénovacom korpuse vyskytujú zriedka, rozdeľujú sa na podtokeny, čo môže zhoršiť chápanie modelu. Platí to najmä pre tvoje interné označenia produktov a vlastné kódové mená, ktoré tokenizátor nikdy nevidel:

# "Anticonstitutionnellement" (Neústavne) sa rozdelí na viacero tokenov
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON a štruktúrovaný kód prinášajú podobné prekvapenie. Zátvorky, hranaté zátvorky a úvodzovky spotrebujú každý jeden token, čo znamená, že odsadený JSON stojí výrazne viac než jeho minifikovaná verzia. V few-shot prompte nesúcom niekoľko príkladov payloadu tento rozdiel nezaplatíš len raz; platíš ho pri každom volaní, celý deň.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

Najjemnejšou pascou je samotné formátovanie: úvodné medzery, prázdne riadky a odsadenia sa všetko počíta. System prompt starostlivo zarovnaný pre čitateľnosť tímom stojí viac, pri striktne identickom obsahu, než kompaktný prompt. Nie je to dôvod písať nečitateľný kód, ale je to dôvod urobiť tento kompromis vedome.

Optimalizácia tvojich promptov

Zlatým pravidlom je merať pred optimalizáciou: tiktoken ti dá presný počet, zatiaľ čo intuícia sa často mýli až dvojnásobne. Keď už máš namerané údaje, uprednostni stručné inštrukcie. „Respond in JSON“ hovorí presne to isté čo „I would like you to respond using the JSON format“, ale za tretinový počet tokenov. V kontextových blokoch fungujú skratky dobre: model interpretuje „Q:“ a „A:“ rovnako spoľahlivo ako „Question:“ a „Answer:“. Nakoniec, komprimuj obchodný kontext sumarizáciou dlhých dokumentov vopred, namiesto kopírovania desiatich strán dokumentácie do každej požiadavky, keď potrebuješ len jeden odsek.

Výpočet nákladov

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Táto funkcia sa rýchlo stane utilities projektu: pripoj ju k svojim promptom pred nasadením a povie ti, koľko bude stáť denná premávka, kým je ešte čas konať. Rozšír to o cvičenie, ktoré je poučnejšie, než vyzerá. Nainštaluj tiktoken (pip install tiktoken), tokenizuj svoj najkomplexnejší system prompt a identifikuj najdrahšie segmenty – takmer vždy sú to few-shot príklady a bloky JSON. Potom ho prepíš so zámerom dosiahnuť o 20 % menej tokenov bez straty jedinej informácie. Po ceste zistíš, koľko viet v tvojom prompte bolo len na upokojenie teba samého.

Sadzby k 5. augustu 2026 – ceny sa pravidelne menia. Pred rozpočtovaním si over aktuálny cenník na oficiálnej stránke s cenami OpenAI.

Kľúčové poznatky

  • Token nie je slovo; je to úryvok z BPE
  • Francúzština stojí o 20 – 30 % viac tokenov než angličtina
  • Systematicky meraj svoje prompty pomocou tiktoken
  • Optimalizuj JSON a formátovanie na zníženie nákladov
  • Kontextové okno sa meria v tokenoch, nie v slovách