Tokenizarea: Înțelegerea modului în care modelul vede promptul dumneavoastră
Pe această pagină
Tokenizarea: Înțelegerea modului în care modelul vede promptul dumneavoastră
Modelul nu citește text; el procesează tokeni. Această distincție nu este una academică. Ea determină cât plătiți, cât încap în fereastra de context și, uneori, de ce modelul se blochează la un cuvânt pe care îl considerați trivial. Înțelegerea tokenizării vă oferă trei pârghii concrete pentru aplicația dumneavoastră: optimizarea prompturilor, controlul costurilor și explicarea comportamentelor care par inexplicabile când gândiți în cuvinte.
Ce este un token?
Un token este unitatea de bază pe care o manipulează modelul. Nu este nici un cuvânt, nici un caracter, ci un fragment de text produs de un algoritm de codificare numit BPE (Byte Pair Encoding), care îmbină iterativ cele mai frecvente secvențe de caractere din corpusul de antrenament. În medie, un token reprezintă aproximativ 4 caractere în limba engleză, dar acest raport variază semnificativ în funcție de limbă. Scriptul de mai jos demonstrează acest lucru cu o propoziție în engleză și echivalentul său în franceză, arătând divizarea reală. Faptul de a vedea tokenizerul tăind „aujourd’hui“ (astăzi) valorează mai mult decât orice explicație teoretică.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
Impactul limbii asupra costului
Limba franceză consumă în medie cu 20% până la 30% mai mulți tokeni decât limba engleză pentru a exprima aceeași idee. Acest lucru se întâmplă deoarece franceza este mai puțin reprezentată în corpusul de antrenament al tokenizerului, astfel încât cuvintele sale sunt divizate mai des. Prima consecință este financiară: plătiți per token de intrare și de ieșire, deci o bază de cunoștințe în limba franceză costă mecanic mai mult decât traducerea sa în engleză pentru un conținut identic. A doua consecință afectează fereastra de context, care se umple mai repede cu documente în franceză—un istoric de conversație care a reținut treizeci de schimburi în engleză ar putea reține doar douăzeci și patru în franceză. A treia este latența: deoarece fiecare token de ieșire este generat secvențial, un răspuns în franceză durează mai mult pentru a fi afișat decât un răspuns în engleză cu un conținut echivalent.
Trei capcane costisitoare
Cuvintele rare și neologismele se află în fruntea listei. Deoarece apar rar în corpusul de antrenament, acestea sunt divizate în sub-tokeni, ceea ce poate degrada înțelegerea de către model. Acest lucru se aplică în special referințelor interne la produse și numelor de cod create intern pe care tokenizerul nu le-a întâlnit niciodată:
# "Anticonstitutionnellement" (Neconstituțional) va fi divizat în mai mulți tokeni
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
JSON și codul structurat rezervă o surpriză similară. Acoladele, parantezele pătrate și ghilimelele consumă fiecare câte un token, ceea ce înseamnă că JSON-ul indentat costă semnificativ mai mult decât versiunea sa minificată. Într-un prompt few-shot care transportă mai multe exemple de payload, nu plătiți această diferență o singură dată; o plătiți la fiecare apel, toată ziua.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
Cea mai subtilă capcană este formatarea însăși: spațiile de la început, liniile goale și indentarea contează toate. Un prompt de sistem aliniat cu grijă pentru lizibilitatea echipei costă mai mult, pentru un conținut strict identic, decât un prompt compact. Acesta nu este un motiv pentru a scrie cod ilizibil, dar este un motiv pentru a face acest compromis în cunoștință de cauză.
Optimizarea prompturilor dumneavoastră
Regula de aur este să măsurați înainte de a optimiza: tiktoken vă oferă numărul exact, în timp ce intuiția se înșală adesea cu un factor de doi. Odată ce ați măsurat, preferați instrucțiunile concise. „Răspunde în JSON“ spune exact ceea ce spune „Aș dori să răspundeți folosind formatul JSON“, pentru o treime din tokeni. În blocurile de context, abrevierile funcționează bine: modelul interpretează „Q:“ și „A:“ la fel de fiabil ca „Question:“ și „Answer:“. În final, comprimați contextul de afaceri rezumând documentele lungi în amonte, în loc să copiați zece pagini de documentație în fiecare cerere când aveți nevoie doar de un paragraf.
Calculul costului
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Estimates the cost of an API call."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# GPT-5.6 Terra pricing, July 2026 (verify current rates)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Această funcție devine rapid o utilitate de proiect: conectați-o la prompturile dumneavoastră înainte de implementare și vă va spune cât va costa o zi de trafic în timp ce mai aveți timp să acționați. Extindeți acest lucru cu un exercițiu care se dovedește a fi mai instructiv decât pare. Instalați tiktoken (pip install tiktoken), tokenizați cel mai complex prompt de sistem al dumneavoastră și identificați segmentele cele mai scumpe—aproape întotdeauna exemplele few-shot și blocurile JSON. Apoi rescrieți-l vizând cu 20% mai puțini tokeni fără a pierde nicio informație. Veți descoperi pe parcurs câte propoziții din promptul dumneavoastră erau acolo doar pentru a vă liniști.
Tarife valabile la 5 august 2026 — prețurile se schimbă regulat. Înainte de a elabora un buget, verificați lista de prețuri actualizată pe pagina oficială de prețuri OpenAI.
Puncte cheie
- Un token nu este un cuvânt; este un fragment provenit din BPE
- Franceza costă cu 20–30% mai mulți tokeni decât engleza
- Măsurați sistematic prompturile cu tiktoken
- Optimizați JSON și formatarea pentru a reduce costurile
- Fereastra de context se măsoară în tokeni, nu în cuvinte