Lange context: tot 1 miljoen tokens
Op deze pagina
Wat een venster van één miljoen tokens betekent
Niet alle Grok-taalmodellen hebben dezelfde contextcapaciteit, en dit verschil is een doorslaggevende factor in uw keuze: grok-4.3 en de grok-4.20-generatie ondersteunen tot 1 miljoen tokens, grok-4.5 accepteert 500.000, en grok-build-0.1 256.000. Om deze bovengrens in perspectief te plaatsen: 1 miljoen tokens komt overeen met ongeveer 750.000 woorden—het equivalent van zeven tot tien romans, of een middelgrote codebase.
Deze capaciteit verandert fundamenteel hoe u een taalmodel inzet. In plaats van uw data in fragmenten op te knippen en apart te verwerken, kunt u de volledige context in één enkel verzoek aanleveren. Voor dit soort taken wordt grok-4.3, de zuinige optie voor zeer lange context, vaak de juiste keuze in plaats van het vlaggenschipmodel.
Toepassingsgebieden
Analyse van codebases
Met 1 miljoen tokens kunt u een volledige codebase in de context van het model laden. Een Python-project dat tienduizenden regels beslaat, past comfortabel binnen dit venster. Het model kan vervolgens vragen beantwoorden over de algehele architectuur, kruisafhankelijkheden identificeren of refactoring voorstellen die consistent is met de volledige code—iets wat grok-build-0.1, beperkt tot 256k, op deze schaal niet kan.
Verwerking van lange documenten
Jaarverslagen, juridische documenten, technische handleidingen—deze documenten beslaan vaak honderden pagina’s. In plaats van ze in brokken samen te vatten en daarbij de globale context te verliezen, kunt u ze volledig injecteren en gerichte vragen stellen over elk willekeurig onderdeel.
Lange conversaties
Bij conversatietoepassingen bepaalt het contextvenster hoe lang de geschiedenis is die het model zich kan “herinneren”. Met een venster van één miljoen tokens onderhoudt u zeer lange conversaties zonder contextverlies—handig voor uitgebreide werksessies of complexe technische ondersteuning.
Synthese uit meerdere bronnen
Laad meerdere documenten tegelijk—artikelen, rapporten, e-mails—om ze bronoverstijgend te synthetiseren. Het model kan overlappingen, tegenstrijdigheden en aanvullende informatie tussen de bronnen identificeren.
Limieten en overwegingen
De drempel van 200.000 tokens
Dit is het punt dat mensen te vaak pas op de factuur ontdekken: de prijzen voor Grok verdubbelen bij meer dan 200.000 contexttokens. Met andere woorden: zodra u lange context echt benut, schakelt u automatisch over naar het hogere tarief. Een invoerverzoek van één miljoen tokens op grok-4.3 wordt gefactureerd tegen het verdubbelde tarief—$2,50 per miljoen in plaats van $1,25—wat neerkomt op $2,50 voor dat ene verzoek. Bij grok-4.5 springt een verzoek van 500.000 tokens naar $4,00 per miljoen invoer.
Houd rekening met deze drempel in uw ontwerp: een architectuur die onder de 200.000 tokens blijft, kost per token de helft van een architectuur die eroverheen gaat, bij gelijk volume.
Latentie
Hoe langer de context, hoe langer de verwerkingstijd. Een verzoek met één miljoen invoertokens is aanzienlijk trager dan een verzoek met 2.000 tokens. Voorzie adequate time-outs—xAI adviseert een minimum van 3.600 seconden voor complexe verzoeken.
Kosten en cache
De kosten zijn recht evenredig met het aantal verwerkte tokens, en cache is de enige echte tegenhanger: invoertokens die al eerder zijn gezien, worden 75% tot 85% goedkoper gefactureerd, afhankelijk van het model (84% bij grok-4.3 en de 4.20-generatie). Een stabiele referentiecontext die van verzoek tot verzoek wordt hergebruikt, kost daardoor slechts een fractie van de oorspronkelijke prijs—vandaar het cruciale belang van cache bij lange contexten.
Kwaliteit van attention
Ook al accepteert het model één miljoen tokens, de kwaliteit van de attention is niet uniform. Informatie aan het begin en einde van de context wordt over het algemeen beter “onthouden” dan informatie in het midden. Plaats bij kritieke verzoeken de belangrijkste informatie aan het begin van de context of direct voor de vraag.
Geen permanente opslag
Het contextvenster is vluchtig: het bestaat alleen tijdens het verzoek. Als u informatie tussen verzoeken moet bewaren, gebruik dan xAI Collections of uw eigen database. Het contextvenster vervangt geen persistent geheugensysteem.
Strategieën voor effectief gebruik
Structureer uw context
Bij zeer lange context wordt structuur cruciaal. Gebruik duidelijke scheidingstekens (XML-tags, Markdown-koppen) om verschillende secties te organiseren. Het model navigeert beter wanneer de context goed getagd is.
Combineer lange context en cache
De krachtigste combinatie: een stabiele lange context (referentiedocumentatie, broncode) die profiteert van cache, met korte, dynamische toevoegingen (gebruikersvraag) aan het einde. Zo krijgt u de kracht van lange context tegen cache-prijzen.
Vul de context niet onnodig
Het feit dat u één miljoen tokens kunt injecteren, betekent niet dat u dit systematisch moet doen. Elke token heeft een kostprijs, kan de 200k-drempel overschrijden en verhoogt de latentie. Selecteer de context die relevant is voor de taak ter hand, in plaats van standaard alles mee te sturen—en bedenk dat RAG voor het bevragen van een groot corpus vaak goedkoper blijft dan lange context.
Belangrijkste punten
- Vensters variëren per model: 1M voor grok-4.3 en de 4.20-generatie, 500k voor grok-4.5, 256k voor grok-build-0.1
- 1 miljoen tokens komt overeen met ongeveer 750.000 woorden—ideaal voor code, lange documenten en uitgebreide conversaties
- Let op de drempel: bij meer dan 200.000 contexttokens verdubbelt het tarief per token
- Latentie neemt toe met de contextgrootte—voorzie adequate time-outs
- Cache (75% tot 85% reductie op invoer) is essentieel om lange contexten economisch haalbaar te maken
- Kwaliteit van attention varieert: plaats kritieke informatie aan het begin of einde van de context