Tokenizavimas: kaip modelis mato jūsų užklausą
Šiame puslapyje
Tokenizavimas: kaip modelis mato jūsų užklausą
Modelis neskaito teksto – jis apdoroja tokenus. Šis skirtumas nėra tik akademinis. Jis lemia, kiek mokėsite, kiek tilps į konteksto langą ir kartais paaiškina, kodėl modelis stringa ties žodžiu, kurį laikėte nereikšmingu. Suprasdami tokenizavimą gaunate tris konkrečius svertus savo programai: galite optimizuoti užklausas, valdyti išlaidas ir paaiškinti elgseną, kuri atrodo nepaaiškinama, jei mąstote žodžiais.
Kas yra tokenas?
Tokenas yra pagrindinis vienetas, kuriuo manipuliuoja modelis. Tai nei žodis, nei simbolis, o teksto fragmentas, sukurtas kodavimo algoritmo, vadinamo BPE (baitų porų kodavimu), kuris iteratyviai sujungia dažniausiai pasitaikančias simbolių sekas mokymo duomenų rinkinyje. Vidutiniškai vienas tokenas anglų kalboje atitinka apie 4 simbolius, tačiau šis santykis labai skiriasi priklausomai nuo kalbos. Toliau pateiktas scenarijus tai parodo naudodamas anglų kalbos sakinį ir jo prancūzišką atitikmenį, rodydamas faktinį suskaidymą. Pamatyti, kaip tokenizatorius padalija „aujourd’hui“ (šiandien), verta daugiau nei bet koks teorinis paaiškinimas.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Kalbos įtaka išlaidoms
Prancūzų kalba vidutiniškai sunaudoja 20–30 % daugiau tokenų nei anglų kalba norint išreikšti tą pačią mintį. Taip nutinka todėl, kad prancūzų kalba tokenizatoriaus mokymo duomenų rinkinyje yra mažiau reprezentuojama, todėl jos žodžiai dalijami dažniau. Pirmoji pasekmė – finansinė: mokate už įvesties ir išvesties tokenus, todėl prancūziška žinių bazė mechaniškai kainuoja daugiau nei jos anglų kalbos vertimas, esant tam pačiam turiniui. Antroji pasekmė susijusi su konteksto langu, kuris prancūziškais dokumentais užsipildo greičiau – pokalbio istorija, kuri anglų kalba talpino trisdešimt apsikeitimų, prancūzų kalba talpins tik dvidešimt keturis. Trečioji pasekmė – delsos laikas: kadangi kiekvienas išvesties tokenas generuojamas nuosekliai, prancūziškas atsakymas rodomas ilgiau nei tokio pat turinio anglų kalbos atsakymas.
Trys brangios klaidos
Retai vartojami žodžiai ir neologizmai yra sąrašo viršuje. Kadangi jie retai pasitaiko mokymo duomenų rinkinyje, jie skaidomi į potokenius, o tai gali pabloginti modelio supratimą. Tai ypač taikoma jūsų vidiniams produktų pavadinimams ir saviems kodiniams pavadinimams, kurių tokenizatorius niekada nematė:
# "Anticonstitutionnellement" (Unconstitutionally) will be split into multiple tokens
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
JSON ir struktūrizuotas kodas slepia panašų netikėtumą. Figūriniai skliaustai, laužtiniai skliaustai ir kabutės suvartoja po vieną tokeną, tai reiškia, kad su tarpu išdėstytas JSON kainuoja žymiai daugiau nei jo sutraukta versija. Kelis kartus pateikiamoje užklausoje („few-shot“), kurioje yra keletas duomenų pavyzdžių, šio skirtumo nemokate vieną kartą – jį mokate kiekvieno kvietimo metu, visą dieną.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Subtiliausia klaida yra pats formatavimas: pradiniai tarpai, tuščios eilutės ir įtraukos taip pat skaičiuojami. Sistemos užklausa, kruopščiai išdėstyta komandos skaitomumui, kainuoja daugiau už visiškai identiško turinio, bet sutrauktą užklausą. Tai nėra priežastis rašyti neįskaitomą kodą, tačiau tai yra priežastis sąmoningai įvertinti šį kompromisą.
Užklausų optimizavimas
Auksinė taisyklė – prieš optimizuojant reikia išmatuoti: tiktoken suteikia tikslų skaičių, tuo tarpu intuicija dažnai klysta dvigubai. Kai jau išmatavote, teikite pirmenybę glaustoms instrukcijoms. „Respond in JSON“ pasako lygiai tą patį, ką ir „I would like you to respond using the JSON format“, tačiau sunaudoja trečdalį tokenų. Konteksto blokuose gerai veikia santrumpos: modelis „Q:“ ir „A:“ interpretuoja taip pat patikimai kaip „Question:“ ir „Answer:“. Galiausiai, suspauskite verslo kontekstą apibendrindami ilgus dokumentus iš anksto, užuot kopijavę dešimt dokumentacijos puslapių į kiekvieną užklausą, kai jums reikia tik vienos pastraipos.
Išlaidų skaičiavimas
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Ši funkcija greitai tampa projekto įrankiu: prijunkite ją prie savo užklausų prieš diegdami ir ji pasakys, kiek kainuos dienos srautas, kol dar turite laiko veikti. Pratęskite tai pratimu, kuris yra informatyvesnis, nei atrodo. Įdiekite tiktoken (pip install tiktoken), suskirstykite į tokenus savo sudėtingiausią sistemos užklausą ir nustatykite brangiausias dalis – beveik visada tai būna keli pavyzdžiai („few-shot“) ir JSON blokai. Tada perrašykite ją siekdami 20 % mažiau tokenų, neprarandant nė vienos informacijos dalies. Kelio metu atrasite, kiek sakinių jūsų užklausoje buvo tik tam, kad jus nuramintų.
Kainos 2026 m. rugpjūčio 5 d. – kainos keičiasi reguliariai. Prieš planuodami biudžetą, patikrinkite dabartinį kainoraštį oficialioje OpenAI kainodaros svetainėje.
Svarbiausi punktai
- Tokenas nėra žodis; tai BPE fragmentas
- Prancūzų kalba sunaudoja 20–30 % daugiau tokenų nei anglų kalba
- Sistemingai matuokite savo užklausas naudodami „tiktoken“
- Optimizuokite JSON ir formatavimą, kad sumažintumėte išlaidas
- Konteksto langas matuojamas tokenais, o ne žodžiais