Tokeniseerimine: mõistmine, kuidas mudel sinu sisendit näeb
Sellel lehel
Tokeniseerimine: mõistmine, kuidas mudel sinu sisendit näeb
Mudel ei loe teksti; see töötleb tokeneid. See eristus pole akadeemiline. See määrab, mida sa maksad, kui palju mahub sinu kontekstiaknasse ja mõnikord ka seda, miks mudel komistab sõna otsas, mida pidasid tühiseks. Tokeniseerimise mõistmine annab sulle rakenduse jaoks kolm konkreetset hooba: oma sisendite optimeerimine, kulude kontrollimine ja käitumise selgitamine, mis tundub seletamatu, kui mõtled sõnades.
Mis on token?
Token on põhiline üksus, millega mudel opereerib. See pole ei sõna ega täht, vaid tekstifragment, mille loob kodeerimisalgoritm nimega BPE (Byte Pair Encoding), mis liidab iteratiivselt treeningandmestikus kõige sagedasemaid tähemärke. Keskmiselt vastab üks token inglise keeles umbes 4 tähemärgile, kuid see suhe varieerub keeleti oluliselt. Allpool olev skript demonstreerib seda ingliskeelse lause ja selle prantsuskeelse vaste abil, näidates tegelikku jaotust. Näha, kuidas tokenisaator lõikab sõna „aujourd’hui“ (täna), on väärtuslikum kui ükski teoreetiline selgitus.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Keele mõju kuludele
Prantsuse keel tarbib sama idee väljendamiseks keskmiselt 20–30% rohkem tokeneid kui inglise keel. See juhtub seetõttu, et prantsuse keel on tokenisaatori treeningandmestikus vähem esindatud, mistõttu jagunevad selle sõnad sagedamini. Esimene tagajärg on finantsiline: sa maksad sisend- ja väljundtokenite eest, nii et prantsuskeelne teadmiste baas maksab mehaaniliselt rohkem kui selle ingliskeelne tõlge identse sisu korral. Teine tagajärg puudutab kontekstiakent, mis täitub prantsuskeelsete dokumentidega kiiremini – vestlusajalugu, mis mahutas inglise keeles kolmkümmend vahetust, mahutab prantsuse keeles vaid kakskümmend neli. Kolmas on latentsus: kuna iga väljundtoken genereeritakse järjestikku, kuvatakse prantsuskeelne vastus aeglasemalt kui samasisuline ingliskeelne vastus.
Kolm kulukat lõksu
Haruldased sõnad ja neologismid on esikohal. Kuna need esinevad treeningandmestikus harva, jagunevad need alamtokeniteks, mis võib halvendada mudeli arusaamist. See kehtib eriti sinu sisemiste tooteviidete ja ise loodud koodinimede kohta, mida tokenisaator pole kunagi näinud:
# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
JSON ja struktureeritud kood peidavad endas sarnast üllatust. Sulud, nurksulud ja jutumärgid tarbivad üks token, mis tähendab, et taandega JSON maksab oluliselt rohkem kui selle minifitseeritud versioon. Mitme näitega sisendis, mis kannab mitut koormuse näidet, ei maksa sa seda vahet üks kord; sa maksad seda iga väljakutse korral, kogu päeva vältel.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Kõige peenem lõks on vormindamine ise: algustühikud, tühjad read ja taanded loevad kõik kaasa. Hoolikalt joondatud süsteemisisend, mis on mõeldud meeskonna loetavuse jaoks, maksab rohkem kui kompaktne sisend, kuigi sisu on täpselt sama. See pole põhjus kirjutada loetamatut koodi, kuid see on põhjus teha see kompromiss teadlikult.
Oma sisendite optimeerimine
Kuldreegel on mõõta enne optimeerimist: tiktoken annab sulle täpse arvu, samas kui intuitsioon eksib sageli kahekordselt. Kui oled mõõtnud, eelista lakoonilisi juhiseid. „Vasta JSON-is“ ütleb täpselt sama, mis „Ma sooviksin, et vastaksite JSON-vormingus“, kuid kasutab kolmandiku jagu tokeneid. Kontekstiplokkides toimivad lühendid hästi: mudel tõlgendab „Q:“ ja „A:“ sama usaldusväärselt kui „Question:“ ja „Answer:“. Lõpuks tihenda ärikonteksti, võttes kokku pikad dokumendid eelnevalt, selle asemel et kopeerida igasse päringusse kümme lehekülge dokumentatsiooni, kui vajad vaid ühte lõiku.
Kulude arvutamine
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
See funktsioon muutub kiiresti projekti utiliidiaks: ühenda see oma sisenditega enne kasutuselevõttu ja see ütleb sulle, mida maksab üks päev liiklust, kui on veel aeg tegutseda. Laienda seda harjutusega, mis osutub informatiivsemaks, kui esmapilgul tundub. Paigalda tiktoken (pip install tiktoken), tokeniseeri oma kõige keerulisem süsteemisisend ja tuvasta kõige kallimad segmendid – need on peaaegu alati mõne näitega lõigud ja JSON-plokid. Seejärel kirjuta see ümber, püüdes saavutada 20% väiksemat tokenite arvu, kaotamata seejuures ühtegi informatsioonitükki. Avastad tee peal, kui palju lauseid sinu sisendis olid seal ainult sinu rahustamiseks.
Hinnad seisuga 5. august 2026 – hinnad muutuvad regulaarselt. Enne eelarvestamist kontrolli kehtivat hinnakirja OpenAI ametlikul hinnalehel.
Peamised punktid
- Token pole sõna; see on BPE fragment
- Prantsuse keel maksab 20–30% rohkem tokeneid kui inglise keel
- Mõõda oma sisendeid süstemaatiliselt tiktokeniga
- Optimeeri JSON-i ja vormindamist kulude vähendamiseks
- Kontekstiaken mõõdetakse tokenites, mitte sõnades