Tokenizace: Jak model vidí váš prompt
Na této stránce
Tokenizace: Jak model vidí váš prompt
Model nečte text; zpracovává tokeny. Tento rozdíl není jen akademický. Určuje, kolik zaplatíte, kolik se vejde do vašeho kontextového okna a někdy i to, proč model zakopne o slovo, které vám připadalo triviální. Pochopení tokenizace vám dává tři konkrétní páky pro vaši aplikaci: optimalizaci promptů, kontrolu nákladů a vysvětlení chování, které se zdá nevysvětlitelné, když přemýšlíte ve slovech.
Co je to token?
Token je základní jednotka, se kterou model pracuje. Není to ani slovo, ani znak, ale úsek textu vytvořený kódovacím algoritmem nazývaným BPE (Byte Pair Encoding), který iterativně slučuje nejčastější sekvence znaků ve vzdělávacím korpusu. V průměru jeden token reprezentuje asi 4 znaky v angličtině, ale tento poměr se výrazně liší podle jazyka. Následující skript to demonstruje na anglické větě a jejím francouzském ekvivalentu a ukazuje skutečné rozdělení. Vidět, jak tokenizér rozdělí slovo „aujourd’hui“ (dnes), má větší vypovídací hodnotu než jakékoli teoretické vysvětlení.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Dopad jazyka na náklady
Francouzština spotřebuje v průměru o 20 % až 30 % více tokenů než angličtina, aby vyjádřila stejnou myšlenku. Děje se tak proto, že francouzština je v tréninkovém korpusu tokenizéru méně zastoupena, takže se její slova častěji dělí. Prvním důsledkem je finanční aspekt: platíte za vstupní i výstupní tokeny, takže znalostní báze ve francouzštině stojí mechanicky více než její anglický překlad pro identický obsah. Druhým důsledkem je dopad na kontextové okno, které se u francouzských dokumentů zaplní rychleji – historie konverzace, která pojmula třicet výměn v angličtině, pojme ve francouzštině pouze čtyřiadvacet. Třetím faktorem je latence: protože každý výstupní token je generován sekvenčně, trvá zobrazení odpovědi ve francouzštině déle než u odpovědi v angličtině se stejným obsahem.
Tři nákladné pasti
Na prvním místě jsou vzácná slova a neologismy. Protože se ve vzdělávacím korpusu vyskytují zřídka, jsou rozdělena na pod-tokeny, což může zhoršit pochopení modelem. To platí zejména pro vaše interní označení produktů a vlastní kódová jména, která tokenizér nikdy neviděl:
# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
JSON a strukturovaný kód skrývají podobné překvapení. Složené závorky, hranaté závorky a uvozovky spotřebují každý jeden token, což znamená, že odsazený JSON stojí výrazně více než jeho minifikovaná verze. V few-shot promptu nesoucím několik příkladů datových payloadů tento rozdíl neplatíte jen jednou; platíte jej při každém volání, celý den.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Nejjemnější pastí je samotné formátování: úvodní mezery, prázdné řádky a odsazení se všechny počítají. System prompt pečlivě zarovnaný pro čitelnost týmem stojí více, při striktně identickém obsahu, než kompaktní prompt. Není to důvod psát nečitelný kód, ale je to důvod učinit tento kompromis vědomě.
Optimalizace vašich promptů
Zlatým pravidlem je měřit před optimalizací: tiktoken vám dá přesný počet, zatímco intuice se často mýlí až dvojnásobně. Jakmile změříte, upřednostněte stručné instrukce. „Respond in JSON“ říká přesně totéž co „I would like you to respond using the JSON format“, ale za třetinový počet tokenů. V blocích kontextu fungují zkratky dobře: model interpretuje „Q:“ a „A:“ stejně spolehlivě jako „Question:“ a „Answer:“. Nakonec komprimujte obchodní kontext shrnutím dlouhých dokumentů předem, místo abyste do každého požadavku kopírovali deset stránek dokumentace, když potřebujete pouze jeden odstavec.
Výpočet nákladů
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Tato funkce se rychle stane užitečným nástrojem projektu: připojte ji ke svým promptům před nasazením a řekne vám, kolik bude stát denní provoz, zatímco je ještě čas jednat. Rozšiřte to o cvičení, které je poučnější, než se zdá. Nainstalujte tiktoken (pip install tiktoken), tokenizujte svůj nejsložitější system prompt a identifikujte nejdražší segmenty – téměř vždy jsou to few-shot příklady a bloky JSON. Poté jej přepište s cílem snížit počet tokenů o 20 %, aniž byste ztratili jedinou informaci. Cestou zjistíte, kolik vět ve vašem promptu bylo jen proto, aby vás uklidnily.
Sazby k 5. srpnu 2026 – ceny se pravidelně mění. Před rozpočtováním si ověřte aktuální ceník na oficiální stránce cen OpenAI.
Klíčové poznatky
- Token není slovo; je to fragment z BPE
- Francouzština stojí o 20–30 % více tokenů než angličtina
- Systematicky měřte své prompty pomocí tiktoken
- Optimalizujte JSON a formátování pro snížení nákladů
- Kontextové okno se měří v tokenech, ne ve slovech