Contesto lungo: fino a 1 milione di token
In questa pagina
Cosa significa una finestra di un milione di token
Non tutti i modelli di testo Grok condividono la stessa capacità di contesto, e questa differenza è un fattore chiave nella tua decisione: grok-4.3 e la generazione grok-4.20 supportano fino a 1 milione di token, grok-4.5 ne accetta 500.000, mentre grok-build-0.1 si ferma a 256.000. Per dare un’idea di questo limite superiore, 1 milione di token corrisponde a circa 750.000 parole: l’equivalente di sette-dieci romanzi o di un codebase di dimensioni medie.
Questa capacità trasforma il modo in cui utilizzi un modello linguistico. Invece di frammentare i tuoi dati ed elaborarli separatamente, puoi fornire l’intero contesto in una singola richiesta. Per questi compiti, grok-4.3, l’opzione economica per contesti molto lunghi, diventa spesso la scelta giusta piuttosto che il modello di punta.
Casi d’uso
Analisi del codebase
Con 1 milione di token, puoi caricare un intero codebase nel contesto del modello. Un progetto Python che conta decine di migliaia di righe rientra comodamente in questa finestra. Il modello può quindi rispondere a domande sull’architettura generale, identificare interdipendenze o proporre refactoring coerenti con l’intero codice, qualcosa che grok-build-0.1, limitato a 256k, non può fare a questa scala.
Elaborazione di documenti lunghi
Report annuali, documenti legali, manuali tecnici: questi documenti spesso raggiungono centinaia di pagine. Invece di riassumerli a blocchi perdendo il contesto globale, puoi iniettarli interamente e porre domande precise su qualsiasi sezione.
Conversazioni lunghe
Nelle applicazioni conversazionali, la finestra di contesto determina la lunghezza della cronologia che il modello può “ricordare”. Con una finestra da un milione di token, mantieni conversazioni molto lunghe senza perdita di contesto, utile per sessioni di lavoro prolungate o supporto tecnico complesso.
Sintesi multi-sorgente
Carica simultaneamente più documenti (articoli, report, email) per sintetizzarli attraverso le diverse fonti. Il modello può identificare sovrapposizioni, contraddizioni e informazioni complementari tra le fonti.
Limiti e considerazioni
La soglia dei 200.000 token
Questo è il punto che molti scoprono troppo tardi sulla fattura: i prezzi di Grok raddoppiano oltre i 200.000 token di contesto. In altre parole, non appena sfrutti davvero il contesto lungo, passi automaticamente alla fascia tariffaria superiore. Una richiesta di input da un milione di token su grok-4.3 viene fatturata alla tariffa raddoppiata: 2,50 $ per milione invece di 1,25 $, ovvero 2,50 $ per quella singola richiesta. Su grok-4.5, una richiesta da 500.000 token sale a 4,00 $ per milione di input.
Questa soglia deve influenzare il tuo design: un’architettura che rimane sotto i 200.000 token costa la metà per token rispetto a una che supera il limite, a parità di volume.
Latenza
Più lungo è il contesto, più lungo è il tempo di elaborazione. Una richiesta con un milione di token in input sarà significativamente più lenta di una con 2.000 token. Prevedi timeout appropriati: xAI raccomanda un minimo di 3.600 secondi per richieste complesse.
Costo e cache
Il costo è direttamente proporzionale al numero di token elaborati e la cache è l’unico vero contrappeso: i token di input già visti vengono fatturati dal 75% all’85% in meno a seconda del modello (84% su grok-4.3 e sulla generazione 4.20). Un contesto di riferimento stabile, riutilizzato da richiesta a richiesta, costa quindi una frazione del suo prezzo iniziale: da qui l’importanza cruciale della cache per i contesti lunghi.
Qualità dell’attenzione
Anche se il modello accetta un milione di token, la qualità dell’attenzione non è uniforme. Le informazioni posizionate all’inizio e alla fine del contesto sono generalmente meglio “memorizzate” rispetto a quelle al centro. Per richieste critiche, colloca le informazioni più importanti all’inizio del contesto o direttamente prima della domanda.
Nessuna memorizzazione permanente
La finestra di contesto è effimera: esiste solo durante la richiesta. Se devi conservare informazioni tra una richiesta e l’altra, usa le Collezioni xAI o il tuo database. La finestra di contesto non sostituisce un sistema di memoria persistente.
Strategie per un uso efficace
Struttura il tuo contesto
Con un contesto molto lungo, la struttura diventa cruciale. Usa delimitatori chiari (tag XML, intestazioni Markdown) per organizzare le diverse sezioni. Il modello naviga meglio quando il contesto è ben etichettato.
Combina contesto lungo e cache
La combinazione più potente: un contesto lungo stabile (documentazione di riferimento, codice sorgente) che beneficia della cache, con aggiunte brevi e dinamiche (domanda dell’utente) alla fine. Ottieni la potenza del contesto lungo ai prezzi della cache.
Non riempire il contesto inutilmente
Il fatto di poter iniettare un milione di token non significa che tu debba farlo sistematicamente. Ogni token ha un costo, rischia potenzialmente di superare la soglia dei 200k e aumenta la latenza. Seleziona il contesto rilevante per il compito specifico invece di inviare tutto per impostazione predefinita e ricorda che il RAG spesso rimane più economico del contesto lungo per interrogare un grande corpus.
Punti chiave
- Le finestre variano in base al modello: 1M per grok-4.3 e la generazione 4.20, 500k per grok-4.5, 256k per grok-build-0.1
- 1 milione di token rappresenta circa 750.000 parole: ideale per codice, documenti lunghi e conversazioni estese
- Attenzione alla soglia: oltre i 200.000 token di contesto, la tariffa per token raddoppia
- La latenza aumenta con la dimensione del contesto: prevedi timeout appropriati
- La cache (riduzione dal 75% all’85% sull’input) è essenziale per rendere economici i contesti lunghi
- La qualità dell’attenzione varia: posiziona le informazioni critiche all’inizio o alla fine del contesto