Žetoni, kontekst in pogovorno okno
Na tej strani
Žetoni, kontekst in pogovorno okno
Žeton je enota, s katero upravlja model, in enota, ki jo beleži tvoj račun. Dokler ti ta koncept ni jasen, bodo tudi tvoji stroški nejasni, prej ali slej pa boš naletel na napako zaradi preseženega limita konteksta, ne da bi vedel zakaj. Ta lekcija razjasni obe težavi.
Kaj je žeton?
Žeton ni beseda. Gre za delček besedila, ki ga model obravnava kot nedeljivo enoto. V slovenščini en žeton v povprečju predstavlja približno 0,7 besede. Knjižnica tiktoken ti omogoča, da točno vidiš, kako se besedilo razdeli: opazi, kako se “dobro-jutro” razdeli na dva žetona, medtem ko se “danes”, ki se v učnem korpusu pojavlja pogosteje, prilega v enega. Ta podrobnost pojasnjuje, zakaj slovensko besedilo porabi več žetonov kot angleško besedilo primerljive dolžine.
from openai import OpenAI
client = OpenAI()
# To estimate tokens, use the tiktoken library
import tiktoken
# cl200k_base is used here as an example: each model generation has its own encoder.
# Check the encoder for the model you call before relying on the count.
enc = tiktoken.get_encoding("cl200k_base")
texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")
# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']
Vedno preveri, kateri enkoder ustreza modelu, ki ga kličeš. Štetje z napačnim enkoderjem ostane uporabna približna vrednost, vendar se ne bo natančno ujemalo s tvojim računom.
Kontekstno okno
Vsak model ima največje kontekstno okno in past za začetnike je v tem, da vključuje tako vhod kot izhod. To ni proračun samo za vhod: to je skupni proračun. Če tvoj poziv zavzame 190.000 žetonov od okna z 200.000 žetoni, za odgovor ostane le še 10.000 žetonov. Model bo sredi stavka prekinil brez dodatnega opozorila.
# Previous generation, for reference:
# GPT-5.4: 1,000,000 context tokens
# GPT-5.3: 200,000 context tokens
# gpt-5.6-sol : 200,000 context tokens
# gpt-5.6-terra : 200,000 context tokens
# Example: if your input is 190,000 tokens in a 200,000-token window,
# only 10,000 tokens remain for the response
response = client.responses.create(
model="gpt-5.6-terra",
input="A very long text...",
max_output_tokens=10000 # Limit explicitly
)
Po opravljenem klicu lahko točno število prebereš v response.usage, ki razlikuje vhodne žetone, izhodne žetone in skupno vsoto:
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain tokens in three sentences."
)
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")
# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70
Tri vzvode za optimizacijo
Prvi vzvod je jedrnatost poziva. Vljudnostni izrazi in retorični previdnostni ukrepi ne izboljšajo odgovora, strošek žetonov pa se sešteje do zadnjega: spodnja prva različica porabi petintrideset žetonov za enak rezultat kot druga, ki porabi deset. Pri obsegu storitve, ki obdela milijon zahtevkov, razlika ni več anekdotična.
# BAD — verbose prompt (35 tokens)
response = client.responses.create(
model="gpt-5.6-terra",
input="Could you please give me a list "
"of three fruits that are red in color, if that "
"does not bother you of course?"
)
# GOOD — concise prompt (10 tokens)
response = client.responses.create(
model="gpt-5.6-terra",
input="List 3 red fruits."
)
Drugi vzvod cilja na izhod, ki stane večkratnik vhoda. Navodilo v pozivu združi s tehnično zgornjo mejo: prvo okvirja zapis, drugo pa zagotavlja, da se tvoj proračun obdrži, tudi če model navodilo ignorira.
# No limit — the model can generate many tokens
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis."
)
# With limit — cost control
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis in 2 sentences maximum.",
max_output_tokens=100
)
Tretji vzvod je ocena stroška pred klicem, kar postane bistveno, takoj ko obdeluješ dokumente spremenljive velikosti. Tako lahko zavrneš ali razdeliš pretežko zahtevo, namesto da bi to odkril šele na računu.
import tiktoken
def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
"""Estimate the cost of an API call."""
enc = tiktoken.get_encoding("cl200k_base")
input_tokens = len(enc.encode(text))
# Approximate prices per million tokens (check current prices)
prices = {
"gpt-5.6-sol": {"input": 5.0, "output": 30.0},
"gpt-5.6-terra": {"input": 2.0, "output": 12.0},
"gpt-5.6-luna": {"input": 0.20, "output": 1.20},
}
input_cost = (input_tokens / 1_000_000) * prices[model]["input"]
return {
"input_tokens": input_tokens,
"input_cost_usd": round(input_cost, 6),
"model": model
}
print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}
Kontekst se v pogovoru kopiči
Ko verižiš izmenjave z uporabo previous_response_id, se vsak krog začne znova z celotno vsebino prejšnjih krogov. Vhodni žetoni zato nenehno naraščajo: dialog, ki se začne s 50 žetoni, v drugem krogu tehta 150, v desetem pa še veliko več. To je najpogostejši vzrok za spiralo stroškov brez povečanega prometa, spremljanje response.usage.input_tokens pa je tvoj opozorilni signal.
# Turn 1: 50 tokens
r1 = client.responses.create(
model="gpt-5.6-terra",
input="Hello, I am a Python developer."
)
# Turn 2: 50 + 100 = 150 tokens (cumulative context)
r2 = client.responses.create(
model="gpt-5.6-terra",
input="Which web frameworks do you recommend?",
previous_response_id=r1.id
)
# Turn 10: tokens accumulate!
# Monitor response.usage.input_tokens to avoid surprises
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")
Za dolge pogovore je rešitev aktivno krajšanje zgodovine: odstrani najstarejša sporočila, dokler ne padeš pod izbrano mejo, pri čemer ohraniš prvo sporočilo, ki običajno nosi ustanovni kontekst izmenjave.
def conversation_with_limit(messages: list, token_limit: int = 50000):
"""Keep the conversation under a token limit."""
enc = tiktoken.get_encoding("cl200k_base")
total = sum(len(enc.encode(m["content"])) for m in messages)
# Remove oldest messages if necessary
while total > token_limit and len(messages) > 2:
removed = messages.pop(1) # Keep the first message (context)
total -= len(enc.encode(removed["content"]))
return messages
Ključne ugotovitve
- En žeton je v slovenščini enak približno 0,7 besede
- Kontekstno okno vključuje vhod IN izhod
- Okna se razlikujejo glede na model: v prejšnji generaciji 1 milijon žetonov za GPT-5.4 in 200 tisoč za GPT-5.3, o3-pro in o4-mini
- Za štetje žetonov pred klicem uporabi
tiktoken - Za nadzor stroškov spremljaj
response.usage - V dolgih pogovorih aktivno upravljaj kontekst