Tokenizzazione: capire come il modello vede il tuo prompt
In questa pagina
Tokenizzazione: capire come il modello vede il tuo prompt
Il modello non legge il testo; elabora token. Questa distinzione non è accademica. Determina quanto paghi, quanto spazio occupi nella tua finestra di contesto e, a volte, perché il modello incappa su una parola che pensavi fosse banale. Comprendere la tokenizzazione ti offre tre leve concrete per la tua applicazione: ottimizzare i prompt, controllare i costi e spiegare comportamenti che sembrano inspiegabili se ragioni in termini di parole.
Cos’è un token?
Un token è l’unità base che il modello manipola. Non è né una parola né un carattere, ma un frammento di testo prodotto da un algoritmo di codifica chiamato BPE (Byte Pair Encoding), che unisce iterativamente le sequenze di caratteri più frequenti nel corpus di addestramento. In media, un token rappresenta circa 4 caratteri in inglese, ma questo rapporto varia significativamente a seconda della lingua. Lo script seguente lo dimostra con una frase in inglese e il suo equivalente in francese, mostrando la suddivisione effettiva. Vedere il tokenizer spezzare “aujourd’hui” (oggi) vale più di qualsiasi spiegazione teorica.
import tiktoken
# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")
texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"
tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)
print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")
# Visualize the split
for t in tokens_fr:
print(f" Token {t}: '{enc.decode([t])}'")
L’impatto della lingua sui costi
Il francese consuma in media dal 20% al 30% di token in più rispetto all’inglese per esprimere la stessa idea. Questo accade perché il francese è meno rappresentato nel corpus di addestramento del tokenizer, quindi le sue parole vengono suddivise più spesso. La prima conseguenza è finanziaria: paghi per ogni token in input e in output, quindi una base di conoscenza in francese costa meccanicamente di più della sua traduzione in inglese per contenuti identici. La seconda conseguenza riguarda la finestra di contesto, che si riempie più velocemente con documenti in francese: una cronologia di conversazione che conteneva trenta scambi in inglese potrebbe contenerne solo ventiquattro in francese. La terza è la latenza: poiché ogni token in output viene generato sequenzialmente, una risposta in francese richiede più tempo per essere visualizzata rispetto a una risposta in inglese di contenuto equivalente.
Tre trappole costose
Le parole rare e i neologismi sono in cima alla lista. Poiché appaiono raramente nel corpus di addestramento, vengono suddivisi in sotto-token, il che può degradare la comprensione del modello. Questo vale soprattutto per i riferimenti interni ai tuoi prodotti e per i nomi in codice sviluppati internamente che il tokenizer non ha mai visto:
# "Anticonstitutionnellement" (Incostituzionalmente) verrà suddiviso in più token
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
print(f" '{enc.decode([t])}'")
Anche JSON e codice strutturato nascondono una sorpresa simile. Parentesi graffe, quadre e virgolette consumano ciascuna un token, il che significa che un JSON indentato costa significativamente di più della sua versione minificata. In un prompt few-shot che trasporta diversi esempi di payload, non paghi questa differenza una sola volta; la paghi a ogni chiamata, per tutto il giorno.
json_verbose = '''{
"nom": "Dupont",
"prenom": "Jean",
"age": 42
}'''
json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'
print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")
La trappola più sottile è la formattazione stessa: spazi iniziali, righe vuote e indentazione contano tutti. Un prompt di sistema accuratamente allineato per la leggibilità del team costa di più, a parità di contenuto, rispetto a un prompt compatto. Non è un motivo per scrivere codice illeggibile, ma è un motivo per fare quel compromesso consapevolmente.
Ottimizzare i tuoi prompt
La regola d’oro è misurare prima di ottimizzare: tiktoken ti fornisce il conteggio esatto, mentre l’intuizione spesso sbaglia di un fattore due. Una volta misurato, preferisci istruzioni concise. “Respond in JSON” dice esattamente ciò che dice “I would like you to respond using the JSON format”, ma con un terzo dei token. Nei blocchi di contesto, le abbreviazioni funzionano bene: il modello interpreta “Q:” e “A:” in modo affidabile quanto “Question:” e “Answer:”. Infine, comprimi il contesto aziendale riassumendo i documenti lunghi a monte, invece di copiare dieci pagine di documentazione in ogni richiesta quando ti serve solo un paragrafo.
Calcolo dei costi
def estimate_cost(prompt: str, estimated_response: int = 500,
model: str = "gpt-5.6-terra") -> dict:
"""Stima il costo di una chiamata API."""
enc = tiktoken.get_encoding("o200k_base")
tokens_in = len(enc.encode(prompt))
# Prezzi GPT-5.6 Terra, luglio 2026 (verifica le tariffe attuali)
price_input = 2.50 / 1_000_000 # per token
price_output = 15.00 / 1_000_000 # per token
cost = (tokens_in * price_input) + (estimated_response * price_output)
return {
"tokens_input": tokens_in,
"tokens_output_estimated": estimated_response,
"estimated_cost_usd": round(cost, 6)
}
Questa funzione diventa rapidamente un’utilità di progetto: collegalala ai tuoi prompt prima del deployment e ti dirà quanto costerà un giorno di traffico mentre c’è ancora tempo per agire. Arricchiscila con un esercizio che si rivela più istruttivo di quanto sembri. Installa tiktoken (pip install tiktoken), tokenizza il tuo prompt di sistema più complesso e identifica i segmenti più costosi: quasi sempre sono gli esempi few-shot e i blocchi JSON. Quindi riscrivilo puntando al 20% di token in meno senza perdere una singola informazione. Scoprirai strada facendo quante frasi nel tuo prompt erano lì solo per rassicurarti.
Tariffe al 5 agosto 2026 — i prezzi cambiano regolarmente. Prima di fare preventivi, verifica il listino prezzi attuale sulla pagina ufficiale dei prezzi di OpenAI.
Punti chiave
- Un token non è una parola; è un frammento derivato dal BPE
- Il francese costa dal 20% al 30% di token in più rispetto all’inglese
- Misura sistematicamente i tuoi prompt con tiktoken
- Ottimizza JSON e formattazione per ridurre i costi
- La finestra di contesto si misura in token, non in parole