Tokeny, kontext a okno konverzácie
Na tejto strane
Tokeny, kontext a okno konverzácie
Token je jednotka, ktorou model manipuluje a ktorú sleduje tvoja faktúra. Pokiaľ ti tento koncept zostane nejasný, budú nejasné aj tvoje náklady a nakoniec narazíš na chybu prekročenia limitu kontextu, ani nebudeš vedieť prečo. Táto lekcia objasní obe tieto problémy.
Čo je to token?
Token nie je slovo. Je to fragment textu, ktorý model považuje za nedeliteľnú jednotku. V slovenčine jeden token predstavuje priemerne asi 0,7 slova. Knižnica tiktoken ti umožní presne vidieť, ako sa text rozdeľuje: všimni si, ako sa „ako-máš“ rozdelí na dva tokeny, zatiaľ čo „dnes“, ktoré sa vo vzdelávacom korpuse vyskytuje častejšie, sa zmestí do jedného. Tento detail vysvetľuje, prečo slovenský text spotrebuje viac tokenov než anglický text porovnateľnej dĺžky.
from openai import OpenAI
client = OpenAI()
# To estimate tokens, use the tiktoken library
import tiktoken
# cl200k_base is used here as an example: each model generation has its own encoder.
# Check the encoder for the model you call before relying on the count.
enc = tiktoken.get_encoding("cl200k_base")
texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")
# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']
Vždy si over, ktorý enkodér zodpovedá modelu, ktorý voláš. Počet získaný so zlým enkodérom zostáva užitočnou aproximáciou, ale nebude presne zodpovedať tvojej faktúre.
Okno kontextu
Každý model má maximálne okno kontextu a pascou pre začiatočníkov je, že zahŕňa vstup aj výstup. Nie je to rozpočet len pre vstup: je to celkový rozpočet. Ak tvoj prompt zaberie 190 000 tokenov z okna s kapacitou 200 000 tokenov, na odpoveď zostane len 10 000 tokenov. Model preruší odpoveď v polovici vety bez ďalšieho varovania.
# Previous generation, for reference:
# GPT-5.4: 1,000,000 context tokens
# GPT-5.3: 200,000 context tokens
# gpt-5.6-sol : 200,000 context tokens
# gpt-5.6-terra : 200,000 context tokens
# Example: if your input is 190,000 tokens in a 200,000-token window,
# only 10,000 tokens remain for the response
response = client.responses.create(
model="gpt-5.6-terra",
input="A very long text...",
max_output_tokens=10000 # Limit explicitly
)
Následne si môžeš presný počet prečítať v response.usage, ktoré rozlišuje vstupné tokeny, výstupné tokeny a celkový súčet:
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain tokens in three sentences."
)
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")
# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70
Tri páky optimalizácie
Prvou pákou je stručnosť promptu. Zdvorilostné formulky a rétorické opatrenia nezlepšujú odpoveď a stojí ich to tokeny až do posledného: prvá verzia nižšie použije tridsaťpäť tokenov na výsledok totožný s druhou, ktorá použije desať. V mierke služby spracovávajúcej milión požiadaviek už rozdiel nie je anekdotický.
# BAD — verbose prompt (35 tokens)
response = client.responses.create(
model="gpt-5.6-terra",
input="Could you please give me a list "
"of three fruits that are red in color, if that "
"does not bother you of course?"
)
# GOOD — concise prompt (10 tokens)
response = client.responses.create(
model="gpt-5.6-terra",
input="List 3 red fruits."
)
Druhá páka cieli na výstup, ktorý stojí niekoľkonásobne viac než vstup. Skombinuj inštrukciu v prompte s technickým stropom: prvá rámecuje písanie, druhá garantuje, že sa zmestíš do rozpočtu, aj keď model inštrukciu ignoruje.
# No limit — the model can generate many tokens
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis."
)
# With limit — cost control
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis in 2 sentences maximum.",
max_output_tokens=100
)
Treťou pákou je odhad nákladov pred volaním, čo sa stáva nevyhnutným hneď, ako spracovávaš dokumenty premenlivej veľkosti. Môžeš tak odmietnuť alebo rozdeliť príliš ťažkú požiadavku, namiesto toho, aby si to zistil až z faktúry.
import tiktoken
def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
"""Estimate the cost of an API call."""
enc = tiktoken.get_encoding("cl200k_base")
input_tokens = len(enc.encode(text))
# Approximate prices per million tokens (check current prices)
prices = {
"gpt-5.6-sol": {"input": 5.0, "output": 30.0},
"gpt-5.6-terra": {"input": 2.0, "output": 12.0},
"gpt-5.6-luna": {"input": 0.20, "output": 1.20},
}
input_cost = (input_tokens / 1_000_000) * prices[model]["input"]
return {
"input_tokens": input_tokens,
"input_cost_usd": round(input_cost, 6),
"model": model
}
print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}
Kontext sa v konverzácii kumuluje
Keď reťazíš výmeny pomocou previous_response_id, každé kolo začína od celého obsahu predchádzajúcich kôl. Vstupné tokeny teda neustále rastú: dialóg, ktorý začína na 50 tokenoch, váži v druhom kole 150 a v desiatom oveľa viac. Toto je najčastejšia príčina spirálovitého rastu faktúr bez nárastu premávky a monitorovanie response.usage.input_tokens je tvoj varovný signál.
# Turn 1: 50 tokens
r1 = client.responses.create(
model="gpt-5.6-terra",
input="Hello, I am a Python developer."
)
# Turn 2: 50 + 100 = 150 tokens (cumulative context)
r2 = client.responses.create(
model="gpt-5.6-terra",
input="Which web frameworks do you recommend?",
previous_response_id=r1.id
)
# Turn 10: tokens accumulate!
# Monitor response.usage.input_tokens to avoid surprises
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")
Pri dlhých konverzáciách je riešením aktívne orezávanie histórie: odstráň najstaršie správy, kým neklesneš pod zvolený limit, pričom zachováš prvú správu, ktorá zvyčajne nesie zakladajúci kontext výmeny.
def conversation_with_limit(messages: list, token_limit: int = 50000):
"""Keep the conversation under a token limit."""
enc = tiktoken.get_encoding("cl200k_base")
total = sum(len(enc.encode(m["content"])) for m in messages)
# Remove oldest messages if necessary
while total > token_limit and len(messages) > 2:
removed = messages.pop(1) # Keep the first message (context)
total -= len(enc.encode(removed["content"]))
return messages
Kľúčové poznatky
- Jeden token sa rovná približne 0,7 slova v slovenčine
- Okno kontextu zahŕňa vstup AJ výstup
- Okná sa líšia podľa modelu: v predchádzajúcej generácii 1 milión tokenov pre GPT-5.4 a 200 tisíc pre GPT-5.3, o3-pro a o4-mini
- Na počítanie tokenov pred volaním použi
tiktoken - Na kontrolu nákladov monitoruj
response.usage - Pri dlhých konverzáciách aktívne spravuj kontext