Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Ottimizza il tasso di hit della cache

Lezione 10 di 14 Aggiornata il 29 luglio 2026 Avanzato
In questa pagina
  1. Struttura i tuoi prompt per la cache
  2. La regola d’oro: non modificare la cronologia
  3. Un’architettura di prompt che funziona bene con la cache
  4. Il riflesso che rompe tutto: troncare la cronologia
  5. Misura e migliora
  6. Punti chiave

Struttura i tuoi prompt per la cache

La cache delle API di Grok funziona tramite corrispondenza del prefisso. I token vengono memorizzati nella cache in ordine, dal primo all’ultimo, e la corrispondenza si interrompe al primo carattere differente. La conseguenza è severa: se modifichi un token nel mezzo del tuo prompt, tutto ciò che segue perde la sua cache, anche se il resto è identico parola per parola. Un timestamp di venti caratteri all’inizio di un prompt è sufficiente ad attivare la tariffa completa per i 50.000 token successivi. Strutturare i tuoi prompt non è vanità ingegneristica: è ciò che separa una fattura da 200 $ da una da 1.000 $ per lo stesso servizio.

La regola d’oro: non modificare la cronologia

L’errore più comune in produzione consiste nel ritoccare la cronologia dei messaggi tra una richiesta e l’altra. Riformattare un messaggio precedente, riordinare i turni, iniettare una data corrente o un ID sessione nel prompt di sistema: ognuno di questi gesti, apparentemente innocui, invalida la cache dal punto di modifica in poi. Il caso più diffuso sta in una singola riga di codice:

# MALE: timestamp nel prompt di sistema
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Questo timestamp cambia a ogni chiamata. Poiché si trova nel primissimo messaggio, la corrispondenza del prefisso fallisce già sul primo token e l’intero prompt viene fatturato alla tariffa standard, conversazione dopo conversazione. Se il tuo modello ha davvero bisogno di conoscere la data, inseriscila nell’ultimo messaggio dell’utente, dove costerà solo poche decine di token non cachati.

La versione corretta dello stesso prompt mantiene un’intestazione rigorosamente fissa, una cronologia solo in appendice e concentra tutte le novità alla fine:

# BENE: contenuto statico prima, variabili alla fine
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # Cronologia della conversazione INVARIA TA
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Solo l'ultimo messaggio è nuovo
    {"role": "user", "content": "User's new question"}
]

Un’architettura di prompt che funziona bene con la cache

Il principio si riassume in una frase: dal più stabile al più variabile. Concretamente, quattro livelli si susseguono in questo ordine.

  1. Prompt di sistema (stabile): istruzioni generali, persona, regole
  2. Contesto di riferimento (stabile): documentazione, base di conoscenza
  3. Cronologia della conversazione (incrementale): solo in appendice, mai modificare
  4. Messaggio corrente (variabile): la nuova richiesta dell’utente

Con questa disposizione, i livelli da 1 a 3 finiscono in cache e solo il livello 4 viene fatturato alla tariffa standard. In un’applicazione in cui il prompt di sistema e il repository pesano 8.000 token, una domanda dell’utente di 60 token viene fatturata a prezzo pieno solo per quei 60 token.

Questa logica si estende a casi meno ovvi. Se la tua applicazione si basa su un lungo contesto di riferimento—documentazione di prodotto, FAQ, specifiche tecniche—posizionalo subito dopo il prompt di sistema: sarà in cache dalla seconda richiesta di ogni conversazione in poi. E, contrariamente a quanto si pensa comunemente, il beneficio non è limitato a una singola sessione: due conversazioni distinte che condividono lo stesso prefisso, lo stesso prompt di sistema e lo stesso contesto di riferimento, si cachano a vicenda. In un’applicazione multi-utente con un prompt comune, ogni utente beneficia del traffico degli altri, rendendo un prompt di sistema lungo e stabile molto meno costoso di quanto sembri.

Il riflesso che rompe tutto: troncare la cronologia

Quando una conversazione si allunga e si avvicina al limite del contesto, l’istinto è tagliare i messaggi più vecchi. È esattamente ciò che non devi fare: rimuovendo l’inizio, sposti tutto il resto e distruggi la corrispondenza del prefisso. Risparmi qualche migliaio di token e ne paghi cinquantamila a prezzo pieno. Preferisci la sintesi, che condensa i vecchi scambi in un prompt di sistema riscritto una volta sola, lasciando intatti i messaggi recenti:

# Invece di troncare la cronologia:
# messages = messages[-10:]  # MALE: rompe la cache

# Sintetizza i vecchi messaggi nel prompt di sistema:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Messaggi recenti non modificati
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Misura e migliora

Monitora il tasso giornaliero di hit della cache come una metrica di produzione a sé stante, proprio come un tasso di errore. Ecco come interpretare il valore che osservi.

Tasso di cacheInterpretazione
Meno del 30%Prompt mal strutturati o elementi variabili all’inizio della sequenza
Dal 30% al 60%Accettabile per conversazioni brevi, migliorabile con un prompt di sistema più lungo e stabile
Più del 60%Buon risultato, tipico di prompt ben strutturati
Più dell’80%Eccellente, i risparmi sono significativi

Il valore di questo monitoraggio è soprattutto differenziale. Un valore stabile al 65% che crolla al 20% durante la notte indica un deployment difettoso nel giro di poche ore: in quasi tutti i casi, è stata appena introdotta una variabile all’inizio del prompt. Provalo tu stesso sulla tua applicazione corrente: prendi il tasso medio su cento richieste, sposta un elemento variabile alla fine del prompt e confronta.

Punti chiave

  • La cache funziona tramite corrispondenza del prefisso: non modificare mai i token all’inizio del prompt
  • Struttura i tuoi prompt dal più stabile al più variabile
  • Non aggiungere mai dati variabili (timestamp, ID) nel prompt di sistema
  • Preferisci la sintesi al troncamento per preservare la cache nelle conversazioni lunghe
  • Monitora il tuo tasso giornaliero di hit della cache come una metrica di performance finanziaria