Lång kontext: upp till 1 miljon token
På denna sida
Vad ett fönster på en miljon token innebär
Inte alla Grok-textmodeller har samma kontextkapacitet, och denna skillnad är en avgörande faktor när du väljer modell: grok-4.3 och grok-4.20-generationen stöder upp till 1 miljon token, grok-4.5 accepterar 500 000 och grok-build-0.1 256 000. För att sätta den övre gränsen i perspektiv motsvarar 1 miljon token cirka 750 000 ord – det är lika mycket som sju till tio romaner, eller en medelstor kodbas.
Denna kapacitet förändrar hur du använder en språkmodell. Istället för att dela upp dina data i fragment och bearbeta dem var för sig kan du skicka hela kontexten i en enda begäran. För dessa uppgifter blir grok-4.3, det kostnadseffektiva alternativet för mycket lång kontext, ofta det rätta valet snarare än flaggskeppsmodellen.
Användningsområden
Analys av kodbaser
Med 1 miljon token kan du ladda en hel kodbas i modellens kontext. Ett Python-projekt på tiotusentals rader ryms komfortabelt inom detta fönster. Modellen kan sedan svara på frågor om den övergripande arkitekturen, identifiera korsberoenden eller föreslå refaktoreringar som är konsekventa med hela koden – något grok-build-0.1, som är begränsad till 256k, inte kan göra i denna skala.
Bearbetning av långa dokument
Årsredovisningar, juridiska dokument, tekniska manualer – dessa dokument löper ofta över hundratals sidor. Istället för att sammanfatta dem i bitar och förlora den globala kontexten kan du mata in dem helt och ställa precisa frågor om valfritt avsnitt.
Långa konversationer
I konversationsapplikationer avgör kontextfönstret hur lång historik modellen kan “komma ihåg”. Med ett fönster på en miljon token kan du föra mycket långa konversationer utan att tappa kontexten – användbart för utdragna arbetssessioner eller komplex teknisk support.
Syntes från flera källor
Ladda flera dokument samtidigt – artiklar, rapporter, e-postmeddelanden – för att syntetisera dem över källorna. Modellen kan identifiera överlappningar, motsägelser och kompletterande information mellan källorna.
Begränsningar och överväganden
Tröskeln vid 200 000 token
Detta är den punkt där folk alltför ofta upptäcker det på fakturan: Groks prissättning fördubblas bortom 200 000 kontexttoken. Med andra ord, så snart du verkligen utnyttjar lång kontext växlar du automatiskt till den högre nivån. En inmatningsbegäran på en miljon token på grok-4.3 faktureras till den fördubblade takten – 2,50 USD per miljon istället för 1,25 USD – vilket innebär 2,50 USD för den enda begäran. På grok-4.5 hoppar en begäran på 500 000 token till 4,00 USD per miljon inmatning.
Denna tröskel måste ingå i din design: en arkitektur som håller sig under 200 000 token kostar hälften så mycket per token som en som svämmar över, vid samma volym.
Latens
Ju längre kontext, desto längre bearbetningstid. En begäran med en miljon inmatningstoken kommer att vara betydligt långsammare än en med 2 000 token. Planera för lämpliga time-outs – xAI rekommenderar minst 3 600 sekunder för komplexa begäranden.
Kostnad och cache
Kostnaden är direkt proportionell mot antalet bearbetade token, och cache är den enda verkliga motvikten: inmatningstoken som redan setts faktureras 75 % till 85 % billigare beroende på modell (84 % på grok-4.3 och 4.20-generationen). En stabil referenskontext som återanvänds från begäran till begäran kostar därför en bråkdel av sitt ursprungspris – därav cachens avgörande betydelse för långa kontexter.
Uppmärksamhetskvalitet
Även om modellen accepterar en miljon token är uppmärksamhetskvaliteten inte enhetlig. Information som placeras i början och slutet av kontexten behålls generellt bättre än den i mitten. För kritiska begäranden bör du placera den viktigaste informationen i början av kontexten eller direkt före frågan.
Ingen permanent lagring
Kontextfönstret är flyktigt: det existerar bara under begäran. Om du behöver lagra information mellan begäranden ska du använda xAI Collections eller din egen databas. Kontextfönstret ersätter inte ett system för persistent minne.
Strategier för effektiv användning
Strukturera din kontext
Med mycket lång kontext blir struktur avgörande. Använd tydliga avgränsare (XML-taggar, Markdown-rubriker) för att organisera olika sektioner. Modellen navigerar bättre när kontexten är väl taggad.
Kombinera lång kontext och cache
Den mest kraftfulla kombinationen: en stabil lång kontext (referensdokumentation, källkod) som drar nytta av cache, med korta, dynamiska tillägg (användarfråga) i slutet. Du får kraften hos lång kontext till cache-priser.
Fyll inte kontexten i onödan
Bara för att du kan mata in en miljon token betyder det inte att du ska göra det systematiskt. Varje token har en kostnad, kan potentiellt korsa 200k-tröskeln och ökar latensen. Välj den kontext som är relevant för uppgiften för handen istället för att skicka allt som standard – och kom ihåg att RAG ofta förblir billigare än lång kontext för att fråga ut ett stort korpus.
Viktiga punkter
- Fönstren varierar beroende på modell: 1M för grok-4.3 och 4.20-generationen, 500k för grok-4.5, 256k för grok-build-0.1
- 1 miljon token motsvarar cirka 750 000 ord – idealiskt för kod, långa dokument och utdragna konversationer
- Håll koll på tröskeln: bortom 200 000 kontexttoken fördubblas priset per token
- Latensen ökar med kontextstorleken – planera för lämpliga time-outs
- Cache (75 % till 85 % reduktion på inmatning) är avgörande för att göra långa kontexter ekonomiska
- Uppmärksamhetskvaliteten varierar: placera kritisk information i början eller slutet av kontexten