Tokenisointi: ymmärrä, miten malli näkee kehotteesi
Tällä sivulla
Tokenisointi: ymmärrä, miten malli näkee kehotteesi
Malli ei lue tekstiä; se käsittelee tokeneita. Tämä ero ei ole pelkkää teoriaa. Se määrittää, mitä maksat, kuinka paljon mahtuu konteksti-ikkunaasi ja joskus myös sen, miksi malli kompastuu sanaan, jonka luulit merkityksettömäksi. Tokenisoinnin ymmärtäminen antaa sinulle kolme konkreettista vipua sovellukseesi: kehotteiden optimoinnin, kustannusten hallinnan ja sellaisten käyttäytymismallien selittämisen, jotka vaikuttavat selittämättömiltä, jos ajattelet vain sanojen tasolla.
Mikä on token?
Token on perusyksikkö, jota malli manipuloi. Se ei ole sana eikä merkki, vaan tekstinpätkä, jonka tuottaa BPE (Byte Pair Encoding) -koodausalgoritmi. Algoritmi yhdistää iteratiivisesti koulutusaineistossa yleisimmät merkkijonot. Keskimäärin yksi token vastaa noin neljää merkkiä englanniksi, mutta tämä suhde vaihtelee huomattavasti kielen mukaan. Alla oleva skripti havainnollistaa tätä englanninkielisellä lauseella ja sen ranskankielisellä vastineella näyttämällä todellisen jakautumisen. On opettavaista nähdä, miten tokenisoija pilkkoo sanan “aujourd’hui” (tänään); se kertoo enemmän kuin mikään teoreettinen selitys.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Kielen vaikutus kustannuksiin
Ranska kuluttaa keskimäärin 20–30 % enemmän tokeneita kuin englanti saman idean ilmaisemiseen. Tämä johtuu siitä, että ranska on edustettuna heikommin tokenisoijan koulutusaineistossa, joten sen sanat pilkkoutuvat useammin. Ensimmäinen seuraus on taloudellinen: maksat syöte- ja tulostetokeneista, joten ranskankielinen tietokanta maksaa mekaanisesti enemmän kuin sen englanninkielinen käännös samalla sisällöllä. Toinen seuraus koskee konteksti-ikkunaa, joka täyttyy nopeammin ranskankielisillä dokumenteilla – keskusteluhistoria, joka mahtui englanniksi kolmeenkymmeneen vaihtoon, mahtuu ranskaksi vain kahteenkymmeneen neljään. Kolmas seuraus on viive: koska jokainen tulostetoken generoidaan peräkkäin, ranskankielinen vastaus vie enemmän aikaa näkyä kuin vastaavan sisältöinen englanninkielinen vastaus.
Kolme kallista sudenkuoppaa
Harvinaiset sanat ja uussanat ovat listan kärjessä. Koska ne esiintyvät harvoin koulutusaineistossa, ne pilkkoutuvat alitokeneiksi, mikä voi heikentää mallin ymmärrystä. Tämä pätee erityisesti sisäisiin tuoteviittauksiisi ja itse keksimiisi koodinimiin, joita tokenisoija ei ole koskaan nähnyt:
# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
JSON ja jäsennelty koodi sisältävät saman yllätyksen. Aaltosulkeet, hakasulkeet ja lainausmerkit kuluttavat kukin yhden tokenin, mikä tarkoittaa, että sisennetty JSON maksaa huomattavasti enemmän kuin sen tiivistetty versio. Few-shot-kehotteessa, jossa on useita payload-esimerkkejä, et maksa tätä erotusta vain kerran; maksat sen jokaisella kutsulla, koko päivän ajan.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Hienovaraisin sudenkuoppa on itse muotoilu: alkutyhjät, tyhjät rivit ja sisennykset kaikki lasketaan mukaan. Järjestelmäkehote, joka on huolellisesti tasattu tiimin luettavuuden vuoksi, maksaa enemmän täysin identtisellä sisällöllä kuin tiivis kehote. Tämä ei ole syy kirjoittaa lukukelvotonta koodia, mutta se on syy tehdä tämä kompromissi tietoisesti.
Kehotteiden optimointi
Kultainen sääntö on mitata ennen optimointia: tiktoken antaa tarkan lukumäärän, kun taas intuitio erehtyy usein kaksinkertaisesti. Kun olet mitannut, suosii lyhyitä ohjeita. “Respond in JSON” sanoo täsmälleen sen mitä “I would like you to respond using the JSON format”, mutta käyttää vain kolmasosan tokeneista. Kontekstilohkoissa lyhenteet toimivat hyvin: malli tulkitsee “Q:” ja “A:” yhtä luotettavasti kuin “Question:” ja “Answer:”. Lopuksi tiivistä liiketoimintakonteksti yhteenvetämällä pitkät dokumentit etukäteen sen sijaan, että kopioisit kymmenen sivua dokumentaatiota jokaiseen pyyntöön, vaikka tarvitsisit vain yhden kappaleen.
Kustannuslaskenta
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Tästä funktiosta tulee nopeasti projektin hyötytyökalu: kytket sen kehotteisiisi ennen käyttöönottoa, ja se kertoo, mitä päivän liikenne maksaa, kun toiminnalle on vielä aikaa. Laajenna tätä harjoituksella, joka osoittautuu opettavaisemmaksi kuin miltä näyttää. Asenna tiktoken (pip install tiktoken), tokenisoi monimutkaisin järjestelmäkehotteesi ja tunnista kalleimmat segmentit – lähes aina ne ovat few-shot-esimerkkejä ja JSON-lohkoja. Kirjoita se sitten uudelleen tavoitellen 20 % vähemmän tokeneita menettämättä ainuttakaan tietoa. Huomaat matkan varrella, kuinka monta lausetta kehotteessasi oli vain rauhoittamassa sinua.
Hinnat 5. elokuuta 2026 – hinnat muuttuvat säännöllisesti. Ennen budjetointia tarkista nykyinen hintalista OpenAI:n viralliselta hinnoittelusivulta.
Keskeiset asiat
- Token ei ole sana; se on BPE:n tuottama pätkä
- Ranska maksaa 20–30 % enemmän tokeneita kuin englanti
- Mittaa kehotteesi systemaattisesti tiktokenilla
- Optimoi JSON ja muotoilu kustannusten vähentämiseksi
- Konteksti-ikkuna mitataan tokeneina, ei sanoina