Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Tokenizzazione: capire come il modello vede il tuo prompt

Lezione 3 di 16 Aggiornata il 28 luglio 2026 Sviluppatore
In questa pagina
  1. Tokenizzazione: capire come il modello vede il tuo prompt
  2. Cos’è un token?
  3. L’impatto della lingua sui costi
  4. Tre trappole costose
  5. Ottimizzare i tuoi prompt
  6. Calcolo dei costi
  7. Punti chiave

Tokenizzazione: capire come il modello vede il tuo prompt

Il modello non legge il testo; elabora token. Questa distinzione non è accademica. Determina quanto paghi, quanto spazio occupi nella tua finestra di contesto e, a volte, perché il modello incappa su una parola che pensavi fosse banale. Comprendere la tokenizzazione ti offre tre leve concrete per la tua applicazione: ottimizzare i prompt, controllare i costi e spiegare comportamenti che sembrano inspiegabili se ragioni in termini di parole.

Cos’è un token?

Un token è l’unità base che il modello manipola. Non è né una parola né un carattere, ma un frammento di testo prodotto da un algoritmo di codifica chiamato BPE (Byte Pair Encoding), che unisce iterativamente le sequenze di caratteri più frequenti nel corpus di addestramento. In media, un token rappresenta circa 4 caratteri in inglese, ma questo rapporto varia significativamente a seconda della lingua. Lo script seguente lo dimostra con una frase in inglese e il suo equivalente in francese, mostrando la suddivisione effettiva. Vedere il tokenizer spezzare “aujourd’hui” (oggi) vale più di qualsiasi spiegazione teorica.

import tiktoken

# o200k encoding, used by recent GPT models
enc = tiktoken.get_encoding("o200k_base")

texte_en = "Hello, how are you today?"
texte_fr = "Bonjour, comment allez-vous aujourd'hui ?"

tokens_en = enc.encode(texte_en)
tokens_fr = enc.encode(texte_fr)

print(f"English: {len(tokens_en)} tokens for {len(texte_en)} characters")
print(f"French: {len(tokens_fr)} tokens for {len(texte_fr)} characters")

# Visualize the split
for t in tokens_fr:
    print(f"  Token {t}: '{enc.decode([t])}'")

L’impatto della lingua sui costi

Il francese consuma in media dal 20% al 30% di token in più rispetto all’inglese per esprimere la stessa idea. Questo accade perché il francese è meno rappresentato nel corpus di addestramento del tokenizer, quindi le sue parole vengono suddivise più spesso. La prima conseguenza è finanziaria: paghi per ogni token in input e in output, quindi una base di conoscenza in francese costa meccanicamente di più della sua traduzione in inglese per contenuti identici. La seconda conseguenza riguarda la finestra di contesto, che si riempie più velocemente con documenti in francese: una cronologia di conversazione che conteneva trenta scambi in inglese potrebbe contenerne solo ventiquattro in francese. La terza è la latenza: poiché ogni token in output viene generato sequenzialmente, una risposta in francese richiede più tempo per essere visualizzata rispetto a una risposta in inglese di contenuto equivalente.

~4
Caratteri per token (EN)
~3
Caratteri per token (FR)
$2.50
Input GPT-5.6 Terra (per MTok)
200K
BPE o200k Encoding

Tre trappole costose

Le parole rare e i neologismi sono in cima alla lista. Poiché appaiono raramente nel corpus di addestramento, vengono suddivisi in sotto-token, il che può degradare la comprensione del modello. Questo vale soprattutto per i riferimenti interni ai tuoi prodotti e per i nomi in codice sviluppati internamente che il tokenizer non ha mai visto:

# "Anticonstitutionnellement" (Incostituzionalmente) verrà suddiviso in più token
tokens = enc.encode("Anticonstitutionnellement")
print(f"{len(tokens)} tokens")
for t in tokens:
    print(f"  '{enc.decode([t])}'")

Anche JSON e codice strutturato nascondono una sorpresa simile. Parentesi graffe, quadre e virgolette consumano ciascuna un token, il che significa che un JSON indentato costa significativamente di più della sua versione minificata. In un prompt few-shot che trasporta diversi esempi di payload, non paghi questa differenza una sola volta; la paghi a ogni chiamata, per tutto il giorno.

json_verbose = '''{
    "nom": "Dupont",
    "prenom": "Jean",
    "age": 42
}'''

json_compact = '{"nom":"Dupont","prenom":"Jean","age":42}'

print(f"Verbose: {len(enc.encode(json_verbose))} tokens")
print(f"Compact: {len(enc.encode(json_compact))} tokens")

La trappola più sottile è la formattazione stessa: spazi iniziali, righe vuote e indentazione contano tutti. Un prompt di sistema accuratamente allineato per la leggibilità del team costa di più, a parità di contenuto, rispetto a un prompt compatto. Non è un motivo per scrivere codice illeggibile, ma è un motivo per fare quel compromesso consapevolmente.

Ottimizzare i tuoi prompt

La regola d’oro è misurare prima di ottimizzare: tiktoken ti fornisce il conteggio esatto, mentre l’intuizione spesso sbaglia di un fattore due. Una volta misurato, preferisci istruzioni concise. “Respond in JSON” dice esattamente ciò che dice “I would like you to respond using the JSON format”, ma con un terzo dei token. Nei blocchi di contesto, le abbreviazioni funzionano bene: il modello interpreta “Q:” e “A:” in modo affidabile quanto “Question:” e “Answer:”. Infine, comprimi il contesto aziendale riassumendo i documenti lunghi a monte, invece di copiare dieci pagine di documentazione in ogni richiesta quando ti serve solo un paragrafo.

Calcolo dei costi

def estimate_cost(prompt: str, estimated_response: int = 500,
                 model: str = "gpt-5.6-terra") -> dict:
    """Stima il costo di una chiamata API."""
    enc = tiktoken.get_encoding("o200k_base")
    tokens_in = len(enc.encode(prompt))

    # Prezzi GPT-5.6 Terra, luglio 2026 (verifica le tariffe attuali)
    price_input = 2.50 / 1_000_000   # per token
    price_output = 15.00 / 1_000_000  # per token

    cost = (tokens_in * price_input) + (estimated_response * price_output)

    return {
        "tokens_input": tokens_in,
        "tokens_output_estimated": estimated_response,
        "estimated_cost_usd": round(cost, 6)
    }

Questa funzione diventa rapidamente un’utilità di progetto: collegalala ai tuoi prompt prima del deployment e ti dirà quanto costerà un giorno di traffico mentre c’è ancora tempo per agire. Arricchiscila con un esercizio che si rivela più istruttivo di quanto sembri. Installa tiktoken (pip install tiktoken), tokenizza il tuo prompt di sistema più complesso e identifica i segmenti più costosi: quasi sempre sono gli esempi few-shot e i blocchi JSON. Quindi riscrivilo puntando al 20% di token in meno senza perdere una singola informazione. Scoprirai strada facendo quante frasi nel tuo prompt erano lì solo per rassicurarti.

Tariffe al 5 agosto 2026 — i prezzi cambiano regolarmente. Prima di fare preventivi, verifica il listino prezzi attuale sulla pagina ufficiale dei prezzi di OpenAI.

Punti chiave

  • Un token non è una parola; è un frammento derivato dal BPE
  • Il francese costa dal 20% al 30% di token in più rispetto all’inglese
  • Misura sistematicamente i tuoi prompt con tiktoken
  • Ottimizza JSON e formattazione per ridurre i costi
  • La finestra di contesto si misura in token, non in parole