Tokenizācija: kā modelis redz jūsu uzvedni
Šajā lapā
Tokenizācija: kā modelis redz jūsu uzvedni
Modelis nelasa tekstu; tas apstrādā tokenus. Šī atšķirība nav tikai akadēmiska. Tā nosaka, cik tu maksā, cik daudz informācijas ietilpst tava konteksta logā un dažkārt arī to, kāpēc modelis paklupas pār vārdu, ko tu uzskatīji par niecīgu. Izpratne par tokenizāciju dod tev trīs konkrētus sviras punktus tavai lietotnei: uzvedņu optimizēšanu, izmaksu kontroli un tādu uzvedības paradumu skaidrošanu, kas šķiet neizskaidrojami, ja domā vārdos.
Kas ir tokens?
Tokens ir pamatvienība, ar ko modelis manipulē. Tas nav ne vārds, ne rakstzīme, bet gan teksta fragments, ko rada kodēšanas algoritms ar nosaukumu BPE (Byte Pair Encoding), kas iteratīvi apvieno biežāk sastopamās rakstzīmju secības apmācības korpusā. Vidēji viens tokens angļu valodā atbilst aptuveni 4 rakstzīmēm, taču šī attiecība ievērojami atšķiras atkarībā no valodas. Zemāk esošais skripts to demonstrē ar angļu teikumu un tā franču ekvivalentu, parādot faktisko sadalījumu. Redzēt, kā tokenizators sadala vārdu „aujourd’hui” (šodien), ir vērtīgāk par jebkuru teorētisku skaidrojumu.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Valodas ietekme uz izmaksām
Franču valoda vidēji patērē par 20% līdz 30% vairāk tokenus nekā angļu valoda, lai izteiktu to pašu ideju. Tas notiek tāpēc, ka franču valoda ir mazāk pārstāvēta tokenizatora apmācības korpusā, tāpēc tās vārdi tiek sadalīti biežāk. Pirmās sekas ir finansiālas: tu maksā par ievades un izvades tokeniem, tāpēc zināšanu bāze franču valodā mehāniski maksā vairāk nekā tās tulkojums angļu valodā identiskam saturam. Otrās sekas ietekmē konteksta logu, kas ar franču dokumentiem piepildās ātrāk – sarunu vēsture, kas angļu valodā saturētu trīsdesmit apmaiņas, franču valodā varētu saturēt tikai divdesmit četras. Trešās sekas ir latentums: tā kā katrs izvades tokens tiek ģenerēts secīgi, atbilde franču valodā tiek parādīta ilgāk nekā līdzvērtīga satura atbilde angļu valodā.
Trīs dārgas kļūdas
Reti lietoti vārdi un neoloģismi ir saraksta augšgalā. Tā kā tie reti parādās apmācības korpusā, tie tiek sadalīti apakš-tokenos, kas var pasliktināt modeļa izpratni. Tas jo īpaši attiecas uz taviem iekšējiem produktu atsauces nosaukumiem un pašizdomātiem kodu nosaukumiem, kurus tokenizators nekad nav redzējis:
# "Anticonstitutionnellement" (Nekonstitucionāli) tiks sadalīts vairākos tokenos
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
JSON un strukturēts kods sagādā līdzīgu pārsteigumu. Figūriekavas, iekavas un pēdiņas katra patērē vienu tokeni, nozīmējot, ka JSON ar atkāpēm maksā ievērojami vairāk nekā tā minimizētā versija. Few-shot uzvednē, kas nes vairākus datu bloku piemērus, tu nemaksā šo starpību tikai vienreiz; tu maksā to katrā izsaukumā, visu dienu.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Visnemanāmākā kļūda ir pats formatējums: sākuma atstarpes, tukšas rindiņas un atkāpes visi tiek ieskaitīti. Sistēmas uzvedne, kas rūpīgi izlīdzināta komandas lasāmībai, maksā vairāk nekā kompakta uzvedne, lai gan saturs ir pilnīgi identisks. Tas nav iemesls rakstīt nelasāmu kodu, taču tas ir iemesls, lai šo kompromisu izdarītu apzināti.
Uzvedņu optimizēšana
Zelta likums ir mērīt pirms optimizācijas: tiktoken dod precīzu skaitu, kamēr intuīcija bieži kļūdās divreiz. Kad esi veicis mērījumus, dod priekšroku kodolīgām instrukcijām. „Respond in JSON” (Atbildi JSON formātā) pasaka tieši to pašu, ko „I would like you to respond using the JSON format” (Es vēlētos, lai tu atbildētu, izmantojot JSON formātu), bet par trešdaļu mazāk tokenus. Konteksta blokos saīsinājumi darbojas labi: modelis interpretē „Q:” un „A:” tikpat droši kā „Question:” un „Answer:”. Visbeidzot, saspied biznesa kontekstu, apkopojot garus dokumentus iepriekš, nevis kopējot desmit dokumentācijas lappuses katrā pieprasījumā, ja tev nepieciešams tikai viens rindkopa.
Izmaksu aprēķins
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Aprēķina API izsaukuma aptuvenās izmaksas."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra cenas, 2026. gada jūlijs (pārbaudi aktuālās likmes)
price_input = 2.50 / 1_000_000 # par tokeni
price_output = 15.00 / 1_000_000 # par tokeni
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Šī funkcija ātri kļūst par projekta utilītu: pieslēdz to savām uzvednēm pirms izvietošanas, un tā tev pateiks, cik maksās dienas satiksme, kamēr vēl ir laiks rīkoties. Papildini to ar uzdevumu, kas izrādās instructīvāks, nekā sākotnēji šķiet. Instalē tiktoken (pip install tiktoken), tokenizē savu sarežģītāko sistēmas uzvedni un identificē dārgākos segmentus – gandrīz vienmēr tie ir few-shot piemēri un JSON bloki. Tad pārraksti to, tiecoties uz 20% mazāk tokenus, nezaudējot nevienu informācijas gabalu. Ceļā tu atklāsi, cik daudz teikumu tavā uzvednē bija tikai tāpēc, lai nomierinātu tevi pašu.
Likmes uz 2026. gada 5. augustu – cenas mainās regulāri. Pirms budžeta plānošanas pārbaudi aktuālo cenu lapu oficiālajā OpenAI cenu lapā.
Galvenās atziņas
- Tokens nav vārds; tas ir fragments no BPE
- Franču valoda maksā par 20–30% vairāk tokenus nekā angļu valoda
- Sistemātiski mēri savas uzvednes ar tiktoken
- Optimizē JSON un formatējumu, lai samazinātu izmaksas
- Konteksta logs tiek mērīts tokenos, nevis vārdos