Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Ottimizza la cache

Lezione 8 di 14 Aggiornata il 29 luglio 2026 Sviluppatore
In questa pagina
  1. Cache: un fattore chiave per le prestazioni
  2. Come funziona la cache
  3. La regola d’oro: non modificare la cronologia
  4. Il prefisso stabile
  5. Impatto nel mondo reale
  6. Per gli sviluppatori di agenti
  7. Punti chiave

Cache: un fattore chiave per le prestazioni

Le hit della cache sono il principale motore della velocità di inferenza per grok-build-0.1. Quando l’inizio della tua richiesta (il prefisso) corrisponde a una richiesta precedente, il modello recupera dalla cache i calcoli già eseguiti. Risultato: la risposta arriva molto più velocemente.

Comprendere questo meccanismo ti permette di ottimizzare le tue interazioni per ottenere risposte quasi istantanee.

Come funziona la cache

La cache opera sul principio del prefisso comune:

  1. Invii un prompt con la cronologia della conversazione
  2. Il modello elabora i token dall’inizio (prompt di sistema + cronologia)
  3. Se questo prefisso è stato elaborato di recente, viene recuperato dalla cache
  4. Solo i nuovi token (il tuo ultimo messaggio) richiedono un calcolo completo

Più lungo è il prefisso comune, maggiore è il guadagno. In uno scenario di pair programming dove scambi diversi messaggi, ogni richiesta riutilizza tutta la cronologia precedente.

La regola d’oro: non modificare la cronologia

Questo è il punto più importante di questa lezione. Evita di modificare la cronologia dei prompt tra due richieste. Qualsiasi modifica all’inizio della conversazione invalida la cache.

Cosa rompe la cache

  • Riordinare i messaggi nella cronologia
  • Modificare un messaggio precedente (anche un solo carattere)
  • Eliminare messaggi dalla cronologia
  • Inserire un messaggio nel mezzo della conversazione
  • Cambiare il prompt di sistema durante la conversazione

Cosa preserva la cache

  • Aggiungere un nuovo messaggio alla fine della conversazione (comportamento normale)
  • Mantenere il prompt di sistema identico per tutta la sessione
  • Mantenere la cronologia intatta senza modifiche

Il prefisso stabile

Per massimizzare le hit della cache, struttura le tue richieste con un prefisso stabile:

[Prompt di sistema (fisso)]
[Messaggio utente 1 (fisso)]
[Risposta modello 1 (fisso)]
[Messaggio utente 2 (fisso)]
[Risposta modello 2 (fisso)]
...
[Nuovo messaggio utente] ← unica parte elaborata

Il prompt di sistema è particolarmente importante. Definiscilo una volta all’inizio della sessione e non cambiarlo. Se stai sviluppando un agente API con grok-build-0.1, scrivi un prompt di sistema completo e stabile.

Impatto nel mondo reale

In un tipico scenario di pair programming con 10 scambi:

  • Senza ottimizzazione della cache: ogni richiesta rielabora l’intera cronologia. La latenza aumenta a ogni scambio
  • Con cache ottimizzata: viene elaborato solo l’ultimo messaggio. La latenza rimane costante, indipendentemente dalla lunghezza della conversazione

La differenza può essere dell’ordine di alcuni secondi per interazione. In una sessione di sviluppo di un’ora con centinaia di scambi, il guadagno cumulativo è considerevole.

Per gli sviluppatori di agenti

Se stai costruendo un agente API che utilizza grok-build-0.1 in scenari di utilizzo sequenziale degli strumenti:

  • Il prefisso rimane identico tra ogni chiamata allo strumento, che viene recuperata automaticamente dalla cache
  • Non riformattare i risultati degli strumenti prima di inviarli nuovamente al modello
  • Evita trasformazioni della cronologia (riassunto, compressione) che romperebbero la cache
  • Mantieni lo stesso ordine dei messaggi a ogni chiamata

Punti chiave

  • Le hit della cache sono il principale fattore di velocità per grok-build-0.1
  • Non modificare mai la cronologia dei prompt tra due richieste
  • Il prompt di sistema deve rimanere stabile per tutta la sessione
  • Aggiungi alla fine, non modificare mai l’inizio
  • Negli agenti sequenziali, la cache funziona naturalmente se la cronologia viene preservata