Tokenid, kontekst ja vestluse aken
Sellel lehel
Tokenid, kontekst ja vestluse aken
Token on ühik, millega mudel töötab ja mida sinu arve jälgib. Niikaua kui see mõiste on udune, on ka sinu kulud ebamäärased ning lõpuks põrkad sa konteksti piirangu veale, teadmata põhjust. See õppetund selgitab mõlemat probleemi.
Mis on token?
Token ei ole sõna. See on tekstifragment, mida mudel käsitleb jagamatu ühikuna. Prantsuse keeles vastab üks token keskmiselt umbes 0,7 sõnale. Teek tiktoken võimaldab näha täpselt, kuidas tekst osadeks jaotub: pane tähele, kuidas „allez-vous“ laguneb kaheks tokeniks, samas kui „aujourd’hui“, mis esineb treeningandmestikus sagedamini, mahub ühte. See detail selgitab, miks prantsuskeelne tekst tarbib rohkem tokeneid kui sama pikk ingliskeelne tekst.
from openai import OpenAI
client = OpenAI()
# Tokenite hindamiseks kasuta teeki tiktoken
import tiktoken
# cl200k_base on siin näiteks: igal mudeli genereerimisel on oma kodeerija.
# Enne loendusele tuginemist kontrolli kasutatava mudeli kodeerijat.
enc = tiktoken.get_encoding("cl200k_base")
texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")
# Tulemus:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']
Kontrolli alati, milline kodeerija vastab kasutatavale mudelile. Vale kodeerijaga tehtud loendus on küll kasulik ligikaudne hinnang, kuid ei ühti sinu arvega täpselt.
Konteksti aken
Igal mudelil on maksimaalne konteksti aken ja algajate lõks seisneb selles, et see hõlmab nii sisendit kui väljundit. See ei ole sisendi eelarve: see on kogueelarve. Kui sinu vihje võtab 200 000 tokeni aknast enda alla 190 000 tokenit, jääb vastuseks vaid 10 000 tokenit. Mudel katkestab lause pooleli ilma igasuguse hoiatuseta.
# Eelmine genereerimine võrdluseks:
# GPT-5.4: 1 000 000 konteksti tokenit
# GPT-5.3: 200 000 konteksti tokenit
# gpt-5.6-sol : 200 000 konteksti tokenit
# gpt-5.6-terra : 200 000 konteksti tokenit
# Näide: kui sinu sisend on 200 000 tokeni aknas 190 000 tokenit,
# jääb vastuseks vaid 10 000 tokenit
response = client.responses.create(
model="gpt-5.6-terra",
input="A very long text...",
max_output_tokens=10000 # Piirang sõnaselgelt määratud
)
Järelsaad lugeda täpset loendust väärtusest response.usage, mis eristab sisendtokeneid, väljundtokeneid ja kogusummat:
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain tokens in three sentences."
)
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")
# Tulemus:
# Input tokens: 12
# Output tokens: 58
# Total: 70
Kolm optimeerimishooba
Esimene hoob on vihje lakoonilisus. Viisakusväljendid ja retoorilised ettevaatusabinõud ei paranda vastust, kuid maksavad tokeneid viimseni: allpool olev esimene versioon kasutab tulemuse saavutamiseks, mis on identne teise omaga, 35 tokenit, samas kui teine kasutab vaid 10. Miljonit päringut töötleva teenuse mastaabis pole see erinevus enam anekdootlik.
# HALB — sõnaohkas vihje (35 tokenit)
response = client.responses.create(
model="gpt-5.6-terra",
input="Could you please give me a list "
"of three fruits that are red in color, if that "
"does not bother you of course?"
)
# HEA — lakooniline vihje (10 tokenit)
response = client.responses.create(
model="gpt-5.6-terra",
input="List 3 red fruits."
)
Teine hoob sihib väljundit, mis maksab mitu korda rohkem kui sisend. Kombineeri juhend vihjes tehnilise laega: esimene raamib kirjutamist, teine garanteerib, et sinu eelarve püsib paigas, isegi kui mudel juhendit eirab.
# Piiranguta — mudel võib genereerida palju tokeneid
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis."
)
# Piiranguga — kulude kontroll
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis in 2 sentences maximum.",
max_output_tokens=100
)
Kolmas hoob on kulu hindamine enne väljakutset, mis muutub hädavajalikuks niipea, kui töötleid erineva suurusega dokumente. Saad siis tagasi lükata või liiga mahuka päringu osadeks jagada, selle asemel et avastada seda alles oma arvelt.
import tiktoken
def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
"""Hinda API väljakutse kulu."""
enc = tiktoken.get_encoding("cl200k_base")
input_tokens = len(enc.encode(text))
# Ligikaudsed hinnad miljoni tokeni kohta (kontrolli aktuaalseid hindu)
prices = {
"gpt-5.6-sol": {"input": 5.0, "output": 30.0},
"gpt-5.6-terra": {"input": 2.0, "output": 12.0},
"gpt-5.6-luna": {"input": 0.20, "output": 1.20},
}
input_cost = (input_tokens / 1_000_000) * prices[model]["input"]
return {
"input_tokens": input_tokens,
"input_cost_usd": round(input_cost, 6),
"model": model
}
print(estimate_cost("Explain relativity in 3 sentences."))
# Tulemus: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}
Kontekst koguneb vestluse käigus
Kui aheldad vahetusi kasutades previous_response_id, algab iga käik kõigi eelmiste käikude kogumist. Sisendtokenite arv kasvab seega pidevalt: dialoog, mis algab 50 tokeniga, kaalub teisel käigul 150 ja kümnendal palju rohkem. See on kõige levinum põhjus, miks arved kasvavad liikluse suurenemiseta, ja response.usage.input_tokens jälgimine on sinu hoiatussignaaliks.
# Käik 1: 50 tokenit
r1 = client.responses.create(
model="gpt-5.6-terra",
input="Hello, I am a Python developer."
)
# Käik 2: 50 + 100 = 150 tokenit (kumuleeruv kontekst)
r2 = client.responses.create(
model="gpt-5.6-terra",
input="Which web frameworks do you recommend?",
previous_response_id=r1.id
)
# Käik 10: tokenid kogunevad!
# Jälgi väärtust response.usage.input_tokens, et vältida üllatusi
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")
Pikkade vestluste puhul on lahenduseks ajaloo aktiivne lühendamine: eemalda vanimaid sõnumeid, kuni jääd alla valitud piiri, säilitades seejuures esimese sõnumi, mis kannab tavaliselt vahetuse asutavat konteksti.
def conversation_with_limit(messages: list, token_limit: int = 50000):
"""Hoia vestlus tokenite piiri all."""
enc = tiktoken.get_encoding("cl200k_base")
total = sum(len(enc.encode(m["content"])) for m in messages)
# Eemalda vajadusel vanimaid sõnumeid
while total > token_limit and len(messages) > 2:
removed = messages.pop(1) # Säilita esimene sõnum (kontekst)
total -= len(enc.encode(removed["content"]))
return messages
Peamised punktid
- Üks token võrdub prantsuse keeles umbes 0,7 sõnaga
- Konteksti aken hõlmab nii sisendit KUI ka väljundit
- Aknad erinevad mudeliti: eelmises põlvkonnas 1 miljon tokenit mudelile GPT-5.4 ja 200 000 mudelitele GPT-5.3, o3-pro ja o4-mini
- Kasuta enne väljakutset tokenite loendamiseks teeki
tiktoken - Jälgi oma kulude kontrollimiseks väärtust
response.usage - Halda pikkades vestlustes konteksti aktiivselt