Tokenit, konteksti ja keskusteluikkuna
Tällä sivulla
Tokenit, konteksti ja keskusteluikkuna
Tokeni on yksikkö, jota malli käsittelee, ja yksikkö, jonka perusteella laskusi muodostuu. Niin kauan kuin tämä käsite on epäselvä, myös kustannuksesi pysyvät arvaamattomina, ja kohtaat ennemmin tai myöhemmin kontekstirajavirheen ymmärtämättä syytä. Tämä oppitunti selventää molemmat asiat.
Mikä on tokeni?
Tokeni ei ole sana. Se on tekstinpätkä, jota malli käsittelee jakamattomana yksikkönä. Suomessa yksi tokeni vastaa keskimäärin noin 0,7 sanaa. tiktoken-kirjaston avulla näet tarkasti, miten teksti pilkkoutuu: huomaa, miten “allez-vous” hajoaa kahdeksi tokeniksi, kun taas “aujourd’hui”, joka esiintyy useammin koulutusaineistossa, mahtuu yhteen. Tämä yksityiskohta selittää, miksi ranskankielinen teksti kuluttaa enemmän tokeneita kuin yhtä pitkä englanninkielinen teksti.
from openai import OpenAI
client = OpenAI()
# To estimate tokens, use the tiktoken library
import tiktoken
# cl200k_base is used here as an example: each model generation has its own encoder.
# Check the encoder for the model you call before relying on the count.
enc = tiktoken.get_encoding("cl200k_base")
texte = "Bonjour, comment allez-vous aujourd'hui ?"
tokens = enc.encode(texte)
print(f"Text: {texte}")
print(f"Number of tokens: {len(tokens)}")
print(f"Tokens: {tokens}")
print(f"Decoded: {[enc.decode([t]) for t in tokens]}")
# Result:
# Text: Bonjour, comment allez-vous aujourd'hui ?
# Number of tokens: 9
# Tokens: [38025, 11, 4068, 67590, 5072, 76439, 30, ...]
# Decoded: ['Bonjour', ',', ' comment', ' allez', '-vous', " aujourd'hui", ' ?']
Tarkista aina, mikä enkooderi vastaa kutsumaasi mallia. Väärällä enkooderilla tehty laskenta on hyödyllinen arvio, mutta se ei täsmää laskusi kanssa täydellisesti.
Konteksti-ikkuna
Jokaisella mallilla on enimmäiskokoinen konteksti-ikkuna, ja aloittelijan ansa on se, että se sisältää sekä syötteen että tulosteen. Kyseessä ei ole syötebudjetti, vaan kokonaisbudjetti. Jos kehotteesi vie 190 000 tokenia 200 000 tokenin ikkunasta, vastaukselle jää vain 10 000 tokenia. Malli katkaisee vastauksen keskellä lausetta ilman lisävaroituksia.
# Previous generation, for reference:
# GPT-5.4: 1,000,000 context tokens
# GPT-5.3: 200,000 context tokens
# gpt-5.6-sol : 200,000 context tokens
# gpt-5.6-terra : 200,000 context tokens
# Example: if your input is 190,000 tokens in a 200,000-token window,
# only 10,000 tokens remain for the response
response = client.responses.create(
model="gpt-5.6-terra",
input="A very long text...",
max_output_tokens=10000 # Limit explicitly
)
Jälkikäteen voit lukea tarkan määrän kohdasta response.usage, joka erittelee syötetokenit, tulostetokenit ja kokonaismäärän:
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain tokens in three sentences."
)
usage = response.usage
print(f"Input tokens: {usage.input_tokens}")
print(f"Output tokens: {usage.output_tokens}")
print(f"Total: {usage.total_tokens}")
# Result:
# Input tokens: 12
# Output tokens: 58
# Total: 70
Kolme optimointivipua
Ensimmäinen vipu on kehotteen tiiviys. Kohteliaisuusfraasit ja retoriset varaukset eivät paranna vastausta, mutta ne maksavat tokeneita viimeiseen asti: alla oleva ensimmäinen versio käyttää kolmekymmentäviisi tokenia samaan tulokseen kuin toinen, joka käyttää kymmentä. Miljoonan pyynnön palvelun mittakaavassa ero ei ole enää merkityksetön.
# BAD — verbose prompt (35 tokens)
response = client.responses.create(
model="gpt-5.6-terra",
input="Could you please give me a list "
"of three fruits that are red in color, if that "
"does not bother you of course?"
)
# GOOD — concise prompt (10 tokens)
response = client.responses.create(
model="gpt-5.6-terra",
input="List 3 red fruits."
)
Toinen vipu kohdistuu tulosteeseen, joka maksaa useita kertoja enemmän kuin syöte. Yhdistä kehotteen ohjeistus tekniseen kattoon: ensimmäinen kehystää kirjoittamisen, toinen takaa budjettisi pysymisen kurissa, vaikka malli ignoroi ohjeen.
# No limit — the model can generate many tokens
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis."
)
# With limit — cost control
response = client.responses.create(
model="gpt-5.6-terra",
input="Explain photosynthesis in 2 sentences maximum.",
max_output_tokens=100
)
Kolmas vipu on kustannusten arviointi ennen kutsua, mikä muuttuu välttämättömäksi heti, kun käsittelet vaihtelevankokoisia dokumentteja. Tällöin voit hylätä tai pilkkoa liian raskaan pyynnön sen sijaan, että huomaisit sen vasta laskullasi.
import tiktoken
def estimate_cost(text: str, model: str = "gpt-5.6-terra") -> dict:
"""Estimate the cost of an API call."""
enc = tiktoken.get_encoding("cl200k_base")
input_tokens = len(enc.encode(text))
# Approximate prices per million tokens (check current prices)
prices = {
"gpt-5.6-sol": {"input": 5.0, "output": 30.0},
"gpt-5.6-terra": {"input": 2.0, "output": 12.0},
"gpt-5.6-luna": {"input": 0.20, "output": 1.20},
}
input_cost = (input_tokens / 1_000_000) * prices[model]["input"]
return {
"input_tokens": input_tokens,
"input_cost_usd": round(input_cost, 6),
"model": model
}
print(estimate_cost("Explain relativity in 3 sentences."))
# Result: {'input_tokens': 10, 'input_cost_usd': 2.5e-05, 'model': 'gpt-5.6-terra'}
Konteksti kertyy keskustelun edetessä
Kun ketjutat vaihtoja käyttämällä previous_response_id:tä, jokainen vuoro aloittaa kaikkien edellisten vaiheiden kokonaisuudesta. Syötetokenit kasvavat siis jatkuvasti: keskustelu, joka alkaa 50 tokenista, painaa toisella vuorolla 150 ja paljon enemmän kymmenennellä. Tämä on yleisin syy laskujen spiraloitumiseen ilman liikenteen kasvua, ja response.usage.input_tokens-arvon seuraaminen on varoitusmerkkisi.
# Turn 1: 50 tokens
r1 = client.responses.create(
model="gpt-5.6-terra",
input="Hello, I am a Python developer."
)
# Turn 2: 50 + 100 = 150 tokens (cumulative context)
r2 = client.responses.create(
model="gpt-5.6-terra",
input="Which web frameworks do you recommend?",
previous_response_id=r1.id
)
# Turn 10: tokens accumulate!
# Monitor response.usage.input_tokens to avoid surprises
print(f"Cumulative tokens at turn 2: {r2.usage.input_tokens}")
Pitkien keskustelujen kohdalla ratkaisu on historian aktiivinen lyhentäminen: poista vanhimpia viestejä, kunnes pääset alle valitun rajan, pitäen kuitenkin ensimmäinen viesti, joka yleensä kantaa vaihdon perustavaa laatua olevaa kontekstia.
def conversation_with_limit(messages: list, token_limit: int = 50000):
"""Keep the conversation under a token limit."""
enc = tiktoken.get_encoding("cl200k_base")
total = sum(len(enc.encode(m["content"])) for m in messages)
# Remove oldest messages if necessary
while total > token_limit and len(messages) > 2:
removed = messages.pop(1) # Keep the first message (context)
total -= len(enc.encode(removed["content"]))
return messages
Keskeiset asiat
- Yksi tokeni vastaa noin 0,7 sanaa
- Konteksti-ikkuna sisältää sekä syötteen ETTÄ tulosteen
- Ikkunat vaihtelevat malleittain: edellisessä sukupolvessa 1 miljoona tokenia GPT-5.4:lle ja 200 000 GPT-5.3:lle, o3-pro:lle ja o4-minille
- Käytä
tiktoken:ia tokenien laskemiseen ennen kutsua - Seuraa
response.usage:a kustannusten hallitsemiseksi - Hallitse kontekstia aktiivisesti pitkissä keskusteluissa