Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Tokenizace: Jak model vidí váš prompt

Lekce 3 z 16 Aktualizováno 28. července 2026 Vývojář
Na této stránce
  1. Tokenizace: Jak model vidí váš prompt
  2. Co je to token?
  3. Dopad jazyka na náklady
  4. Tři nákladné pasti
  5. Optimalizace vašich promptů
  6. Výpočet nákladů
  7. Klíčové poznatky

Tokenizace: Jak model vidí váš prompt

Model nečte text; zpracovává tokeny. Tento rozdíl není jen akademický. Určuje, kolik zaplatíte, kolik se vejde do vašeho kontextového okna a někdy i to, proč model zakopne o slovo, které vám připadalo triviální. Pochopení tokenizace vám dává tři konkrétní páky pro vaši aplikaci: optimalizaci promptů, kontrolu nákladů a vysvětlení chování, které se zdá nevysvětlitelné, když přemýšlíte ve slovech.

Co je to token?

Token je základní jednotka, se kterou model pracuje. Není to ani slovo, ani znak, ale úsek textu vytvořený kódovacím algoritmem nazývaným BPE (Byte Pair Encoding), který iterativně slučuje nejčastější sekvence znaků ve vzdělávacím korpusu. V průměru jeden token reprezentuje asi 4 znaky v angličtině, ale tento poměr se výrazně liší podle jazyka. Následující skript to demonstruje na anglické větě a jejím francouzském ekvivalentu a ukazuje skutečné rozdělení. Vidět, jak tokenizér rozdělí slovo „aujourd’hui“ (dnes), má větší vypovídací hodnotu než jakékoli teoretické vysvětlení.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

Dopad jazyka na náklady

Francouzština spotřebuje v průměru o 20 % až 30 % více tokenů než angličtina, aby vyjádřila stejnou myšlenku. Děje se tak proto, že francouzština je v tréninkovém korpusu tokenizéru méně zastoupena, takže se její slova častěji dělí. Prvním důsledkem je finanční aspekt: platíte za vstupní i výstupní tokeny, takže znalostní báze ve francouzštině stojí mechanicky více než její anglický překlad pro identický obsah. Druhým důsledkem je dopad na kontextové okno, které se u francouzských dokumentů zaplní rychleji – historie konverzace, která pojmula třicet výměn v angličtině, pojme ve francouzštině pouze čtyřiadvacet. Třetím faktorem je latence: protože každý výstupní token je generován sekvenčně, trvá zobrazení odpovědi ve francouzštině déle než u odpovědi v angličtině se stejným obsahem.

~4
Characters per token (EN)
~3
Characters per token (FR)
$2.50
Input GPT-5.6 Terra (per MTok)
200K
BPE o200k Encoding

Tři nákladné pasti

Na prvním místě jsou vzácná slova a neologismy. Protože se ve vzdělávacím korpusu vyskytují zřídka, jsou rozdělena na pod-tokeny, což může zhoršit pochopení modelem. To platí zejména pro vaše interní označení produktů a vlastní kódová jména, která tokenizér nikdy neviděl:

# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

JSON a strukturovaný kód skrývají podobné překvapení. Složené závorky, hranaté závorky a uvozovky spotřebují každý jeden token, což znamená, že odsazený JSON stojí výrazně více než jeho minifikovaná verze. V few-shot promptu nesoucím několik příkladů datových payloadů tento rozdíl neplatíte jen jednou; platíte jej při každém volání, celý den.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

Nejjemnější pastí je samotné formátování: úvodní mezery, prázdné řádky a odsazení se všechny počítají. System prompt pečlivě zarovnaný pro čitelnost týmem stojí více, při striktně identickém obsahu, než kompaktní prompt. Není to důvod psát nečitelný kód, ale je to důvod učinit tento kompromis vědomě.

Optimalizace vašich promptů

Zlatým pravidlem je měřit před optimalizací: tiktoken vám dá přesný počet, zatímco intuice se často mýlí až dvojnásobně. Jakmile změříte, upřednostněte stručné instrukce. „Respond in JSON“ říká přesně totéž co „I would like you to respond using the JSON format“, ale za třetinový počet tokenů. V blocích kontextu fungují zkratky dobře: model interpretuje „Q:“ a „A:“ stejně spolehlivě jako „Question:“ a „Answer:“. Nakonec komprimujte obchodní kontext shrnutím dlouhých dokumentů předem, místo abyste do každého požadavku kopírovali deset stránek dokumentace, když potřebujete pouze jeden odstavec.

Výpočet nákladů

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Estimates the cost of an API call."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # GPT-5.6 Terra pricing, July 2026 (verify current rates)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Tato funkce se rychle stane užitečným nástrojem projektu: připojte ji ke svým promptům před nasazením a řekne vám, kolik bude stát denní provoz, zatímco je ještě čas jednat. Rozšiřte to o cvičení, které je poučnější, než se zdá. Nainstalujte tiktoken (pip install tiktoken), tokenizujte svůj nejsložitější system prompt a identifikujte nejdražší segmenty – téměř vždy jsou to few-shot příklady a bloky JSON. Poté jej přepište s cílem snížit počet tokenů o 20 %, aniž byste ztratili jedinou informaci. Cestou zjistíte, kolik vět ve vašem promptu bylo jen proto, aby vás uklidnily.

Sazby k 5. srpnu 2026 – ceny se pravidelně mění. Před rozpočtováním si ověřte aktuální ceník na oficiální stránce cen OpenAI.

Klíčové poznatky

  • Token není slovo; je to fragment z BPE
  • Francouzština stojí o 20–30 % více tokenů než angličtina
  • Systematicky měřte své prompty pomocí tiktoken
  • Optimalizujte JSON a formátování pro snížení nákladů
  • Kontextové okno se měří v tokenech, ne ve slovech