Ottimizza la cache
In questa pagina
Cache: un fattore chiave per le prestazioni
Le hit della cache sono il principale motore della velocità di inferenza per grok-build-0.1. Quando l’inizio della tua richiesta (il prefisso) corrisponde a una richiesta precedente, il modello recupera dalla cache i calcoli già eseguiti. Risultato: la risposta arriva molto più velocemente.
Comprendere questo meccanismo ti permette di ottimizzare le tue interazioni per ottenere risposte quasi istantanee.
Come funziona la cache
La cache opera sul principio del prefisso comune:
- Invii un prompt con la cronologia della conversazione
- Il modello elabora i token dall’inizio (prompt di sistema + cronologia)
- Se questo prefisso è stato elaborato di recente, viene recuperato dalla cache
- Solo i nuovi token (il tuo ultimo messaggio) richiedono un calcolo completo
Più lungo è il prefisso comune, maggiore è il guadagno. In uno scenario di pair programming dove scambi diversi messaggi, ogni richiesta riutilizza tutta la cronologia precedente.
La regola d’oro: non modificare la cronologia
Questo è il punto più importante di questa lezione. Evita di modificare la cronologia dei prompt tra due richieste. Qualsiasi modifica all’inizio della conversazione invalida la cache.
Cosa rompe la cache
- Riordinare i messaggi nella cronologia
- Modificare un messaggio precedente (anche un solo carattere)
- Eliminare messaggi dalla cronologia
- Inserire un messaggio nel mezzo della conversazione
- Cambiare il prompt di sistema durante la conversazione
Cosa preserva la cache
- Aggiungere un nuovo messaggio alla fine della conversazione (comportamento normale)
- Mantenere il prompt di sistema identico per tutta la sessione
- Mantenere la cronologia intatta senza modifiche
Il prefisso stabile
Per massimizzare le hit della cache, struttura le tue richieste con un prefisso stabile:
[Prompt di sistema (fisso)]
[Messaggio utente 1 (fisso)]
[Risposta modello 1 (fisso)]
[Messaggio utente 2 (fisso)]
[Risposta modello 2 (fisso)]
...
[Nuovo messaggio utente] ← unica parte elaborata
Il prompt di sistema è particolarmente importante. Definiscilo una volta all’inizio della sessione e non cambiarlo. Se stai sviluppando un agente API con grok-build-0.1, scrivi un prompt di sistema completo e stabile.
Impatto nel mondo reale
In un tipico scenario di pair programming con 10 scambi:
- Senza ottimizzazione della cache: ogni richiesta rielabora l’intera cronologia. La latenza aumenta a ogni scambio
- Con cache ottimizzata: viene elaborato solo l’ultimo messaggio. La latenza rimane costante, indipendentemente dalla lunghezza della conversazione
La differenza può essere dell’ordine di alcuni secondi per interazione. In una sessione di sviluppo di un’ora con centinaia di scambi, il guadagno cumulativo è considerevole.
Per gli sviluppatori di agenti
Se stai costruendo un agente API che utilizza grok-build-0.1 in scenari di utilizzo sequenziale degli strumenti:
- Il prefisso rimane identico tra ogni chiamata allo strumento, che viene recuperata automaticamente dalla cache
- Non riformattare i risultati degli strumenti prima di inviarli nuovamente al modello
- Evita trasformazioni della cronologia (riassunto, compressione) che romperebbero la cache
- Mantieni lo stesso ordine dei messaggi a ogni chiamata
Punti chiave
- Le hit della cache sono il principale fattore di velocità per grok-build-0.1
- Non modificare mai la cronologia dei prompt tra due richieste
- Il prompt di sistema deve rimanere stabile per tutta la sessione
- Aggiungi alla fine, non modificare mai l’inizio
- Negli agenti sequenziali, la cache funziona naturalmente se la cronologia viene preservata