Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Tokeny, kontext a okno konverzace

Lekce 7 z 22 Aktualizováno 29. července 2026 Vývojář
Na této stránce
  1. Tokeny, kontext a okno konverzace
  2. Co je to token?
  3. Okno kontextu
  4. Tři páky optimalizace
  5. Kontext se v konverzaci kumuluje
  6. Klíčové poznatky

Tokeny, kontext a okno konverzace

Token je jednotka, se kterou model pracuje a kterou sleduje tvá fakturace. Dokud ti bude tento koncept nejasný, budou nejasné i tvé náklady a dříve či později narazíš na chybu překročení limitu kontextu, aniž bys věděl proč. Tato lekce oba problémy vyřeší.

Co je to token?

Token není slovo. Je to fragment textu, který model považuje za nedělitelnou jednotku. V češtině jeden token reprezentuje v průměru asi 0,7 slova. Knihovna tiktoken ti umožní vidět přesně, jak se text dělí: všimni si, jak se „allez-vous“ rozdělí na dva tokeny, zatímco „aujourd’hui“, které se ve vzdělávacím korpusu vyskytuje častěji, se vejde do jednoho. Tento detail vysvětluje, proč francouzský text spotřebuje více tokenů než anglický text srovnatelné délky.

from openai import OpenAI
client = OpenAI()

# To estimate tokens, use the tiktoken library
import tiktoken

# cl200k_base is used here as an example: each model generation has its own encoder.
# Check the encoder for the model you call before relying on the count.
enc = tiktoken.get_encoding("cl200k_base")

texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")

# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']

Vždy si ověř, který enkodér odpovídá modelu, který voláš. Počet získaný se špatným enkodérem zůstává užitečnou aproximací, ale nebude přesně odpovídat tvé faktuře.

Okno kontextu

Každý model má maximální velikost okna kontextu a pastí pro začátečníky je, že zahrnuje vstup i výstup. Není to rozpočet pouze pro vstup: je to celkový rozpočet. Pokud tvůj prompt zabere 190 000 tokenů z okna o velikosti 200 000 tokenů, zbývá pro odpověď pouze 10 000 tokenů. Model přeruší větu uprostřed bez dalšího varování.

# Previous generation, for reference:
# GPT-5.4: 1,000,000 context tokens
# GPT-5.3: 200,000 context tokens
# gpt-5.6-sol  : 200,000 context tokens
# gpt-5.6-terra : 200,000 context tokens

# Example: if your input is 190,000 tokens in a 200,000-token window,
# only 10,000 tokens remain for the response

response = client.responses.create(
    model="gpt-5.6-terra",
    input="A very long text...",
    max_output_tokens=10000  # Limit explicitly
)

Následně si můžeš přečíst přesný počet v response.usage, které rozlišuje vstupní tokeny, výstupní tokeny a celkový součet:

response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain tokens in three sentences."
)

usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")

# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70

Tři páky optimalizace

První pákou je stručnost promptu. Zdvořilostní formulky a rétorické opatrnosti nezlepšují odpověď a stojí tokeny až do posledního kusu: první verze níže používá třicet pět tokenů pro výsledek totožný s druhou, která používá deset. V měřítku služby zpracovávající milion požadavků přestává být rozdíl zanedbatelný.

# BAD — verbose prompt (35 tokens)
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Could you please give me a list "
          "of three fruits that are red in color, if that "
          "does not bother you of course?"
)

# GOOD — concise prompt (10 tokens)
response = client.responses.create(
    model="gpt-5.6-terra",
    input="List 3 red fruits."
)

Druhá páka cílí na výstup, který stojí několikanásobně více než vstup. Zkombinuj instrukci v promptu s technickým stropem: první rámec určuje styl psaní, druhý garantuje, že se vejdeš do rozpočtu, i když model instrukci ignoruje.

# No limit — the model can generate many tokens
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain photosynthesis."
)

# With limit — cost control
response = client.responses.create(
    model="gpt-5.6-terra",
    input="Explain photosynthesis in 2 sentences maximum.",
    max_output_tokens=100
)

Třetí pákou je odhad nákladů před voláním, což se stává zásadním, jakmile zpracováváš dokumenty proměnlivé velikosti. Můžeš tak odmítnout nebo rozdělit příliš těžký požadavek, místo abys to zjistil až z faktury.

import tiktoken

def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
    """Estimate the cost of an API call."""
    enc = tiktoken.get_encoding("cl200k_base")
    input_tokens = len(enc.encode(text))

    # Approximate prices per million tokens (check current prices)
    prices = {
        "gpt-5.6-sol": {"input": 5.0, "output": 30.0},
        "gpt-5.6-terra": {"input": 2.0, "output": 12.0},
        "gpt-5.6-luna": {"input": 0.20, "output": 1.20},
    }

    input_cost = (input_tokens / 1_000_000) * prices[model]["input"]

    return {
        "input_tokens": input_tokens,
        "input_cost_usd": round(input_cost, 6),
        "model": model
    }

print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}

Kontext se v konverzaci kumuluje

Když řetězíš výměny pomocí previous_response_id, každé kolo začíná znovu od celého obsahu předchozích kol. Vstupní tokeny tedy neustále rostou: dialog, který začíná na 50 tokenech, váží ve druhém kole 150 a v desátém mnohem více. To je nejčastější příčinou spirálovitého růstu faktur bez nárůstu provozu a sledování response.usage.input_tokens je tvým varovným signálem.

# Turn 1: 50 tokens
r1 = client.responses.create(
    model="gpt-5.6-terra",
    input="Hello, I am a Python developer."
)

# Turn 2: 50 + 100 = 150 tokens (cumulative context)
r2 = client.responses.create(
    model="gpt-5.6-terra",
    input="Which web frameworks do you recommend?",
    previous_response_id=r1.id
)

# Turn 10: tokens accumulate!
# Monitor response.usage.input_tokens to avoid surprises
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")

U dlouhých konverzací je řešením aktivní zkracování historie: odstraň nejstarší zprávy, dokud neklesneš pod zvolený limit, přičemž zachovej první zprávu, která obvykle nese zakládající kontext výměny.

def conversation_with_limit(messages: list, token_limit: int = 50000):
    """Keep the conversation under a token limit."""
    enc = tiktoken.get_encoding("cl200k_base")

    total = sum(len(enc.encode(m["content"])) for m in messages)

    # Remove oldest messages if necessary
    while total > token_limit and len(messages) > 2:
        removed = messages.pop(1)  # Keep the first message (context)
        total -= len(enc.encode(removed["content"]))

    return messages

Klíčové poznatky

  • Jeden token se v češtině rovná asi 0,7 slova
  • Okno kontextu zahrnuje vstup I výstup
  • Velikost oken se liší podle modelu: v předchozí generaci 1 milion tokenů pro GPT-5.4 a 200 tisíc pro GPT-5.3, o3-pro a o4-mini
  • Použij tiktoken k počítání tokenů před voláním
  • Sleduj response.usage pro kontrolu nákladů
  • Aktivně spravuj kontext u dlouhých konverzací