Langer Kontext: Bis zu einer Million Tokens
Auf dieser Seite
Was ein Kontextfenster von einer Million Tokens bedeutet
Nicht alle Grok-Textmodelle verfügen über die gleiche Kontextkapazität, und dieser Unterschied ist ein entscheidender Faktor bei Ihrer Entscheidung: grok-4.3 und die grok-4.20-Generation unterstützen bis zu 1 Million Tokens, grok-4.5 akzeptiert 500.000, und grok-build-0.1 256.000. Um diese Obergrenze einzuordnen: Eine Million Tokens entspricht etwa 750.000 Wörtern – das ist das Äquivalent von sieben bis zehn Romanen oder einer mittelgroßen Codebasis.
Diese Kapazität verändert die Art und Weise, wie Sie ein Sprachmodell einsetzen. Anstatt Ihre Daten in Fragmente zu zerlegen und diese separat zu verarbeiten, können Sie den gesamten Kontext in einer einzigen Anfrage bereitstellen. Für diese Aufgaben wird grok-4.3, die wirtschaftliche Option für sehr lange Kontexte, oft zur richtigen Wahl, anstatt des Flaggschiff-Modells.
Anwendungsfälle
Analyse von Codebasen
Mit einem Fenster von einer Million Tokens können Sie eine gesamte Codebasis in den Kontext des Modells laden. Ein Python-Projekt, das über zehntausende Zeilen erstreckt, passt problemlos in dieses Fenster. Das Modell kann dann Fragen zur Gesamtarchitektur beantworten, Querverbindungen identifizieren oder Refactorings vorschlagen, die konsistent mit der gesamten Codebasis sind – etwas, das grok-build-0.1, das auf 256k beschränkt ist, in diesem Maßstab nicht leisten kann.
Verarbeitung langer Dokumente
Jahresabschlüsse, juristische Dokumente, technische Handbücher – diese Dokumente erstrecken sich oft über hunderte Seiten. Anstatt sie in Abschnitten zusammenzufassen und dabei den globalen Kontext zu verlieren, können Sie sie vollständig einfügen und präzise Fragen zu jedem Abschnitt stellen.
Lange Gespräche
In konversationellen Anwendungen bestimmt das Kontextfenster die Länge der Historie, die das Modell „erinnern” kann. Mit einem Fenster von einer Million Tokens führen Sie sehr lange Gespräche ohne Kontextverlust durch – nützlich für ausgedehnte Arbeitssitzungen oder komplexe technische Support-Fälle.
Synthese aus mehreren Quellen
Laden Sie mehrere Dokumente gleichzeitig – Artikel, Berichte, E-Mails –, um diese über die Quellen hinweg zu synthetisieren. Das Modell kann Überschneidungen, Widersprüche und ergänzende Informationen zwischen den Quellen identifizieren.
Grenzen und Überlegungen
Die 200.000-Token-Grenze
Dies ist der Punkt, den die Leute zu oft erst auf der Rechnung entdecken: Die Grok-Preise verdoppeln sich ab 200.000 Kontext-Tokens. Mit anderen Worten: Sobald Sie den langen Kontext wirklich nutzen, wechseln Sie automatisch in die High-Tier-Kategorie. Eine Eingabe-Anfrage von einer Million Tokens bei grok-4.3 wird mit dem verdoppelten Satz berechnet – 2,50 USD pro Million anstatt 1,25 USD –, was für diese einzelne Anfrage 2,50 USD bedeutet. Bei grok-4.5 springt eine Anfrage von 500.000 Tokens auf 4,00 USD pro Million Eingabe.
Diese Schwelle muss in Ihr Design einfließen: Eine Architektur, die unter 200.000 Tokens bleibt, kostet pro Token die Hälfte so viel wie eine, die diese Grenze überschreitet, bei gleichem Volumen.
Latenz
Je länger der Kontext, desto länger die Verarbeitungszeit. Eine Anfrage mit einer Million Eingabe-Tokens wird deutlich langsamer sein als eine mit 2.000 Tokens. Planen Sie entsprechende Timeouts vor – xAI empfiehlt für komplexe Anfragen ein Minimum von 3.600 Sekunden.
Kosten und Cache
Die Kosten stehen in direktem Verhältnis zur Anzahl der verarbeiteten Tokens, und der Cache ist das einzige wirkliche Gegengewicht: Eingabetokens, die bereits gesehen wurden, werden mit 75 % bis 85 % Rabatt berechnet, abhängig vom Modell (84 % bei grok-4.3 und der 4.20-Generation). Ein stabiler Referenzkontext, der von Anfrage zu Anfrage wiederverwendet wird, kostet daher nur einen Bruchteil des anfänglichen Preises – daher ist der Cache für lange Kontexte von entscheidender Bedeutung.
Qualität der Aufmerksamkeit
Selbst wenn das Modell eine Million Tokens akzeptiert, ist die Qualität der Aufmerksamkeit nicht einheitlich. Informationen, die am Anfang und am Ende des Kontextes platziert sind, werden im Allgemeinen besser „behalten” als solche in der Mitte. Bei kritischen Anfragen platzieren Sie die wichtigsten Informationen am Anfang des Kontextes oder direkt vor der Frage.
Keine dauerhafte Speicherung
Das Kontextfenster ist flüchtig: Es existiert nur während der Anfrage. Wenn Sie Informationen zwischen den Anfragen speichern müssen, verwenden Sie xAI Collections oder Ihre eigene Datenbank. Das Kontextfenster ersetzt kein persistientes Speichersystem.
Strategien für einen effektiven Einsatz
Strukturieren Sie Ihren Kontext
Bei sehr langen Kontexten wird die Struktur entscheidend. Verwenden Sie klare Trennzeichen (XML-Tags, Markdown-Überschriften), um verschiedene Abschnitte zu organisieren. Das Modell navigiert besser, wenn der Kontext gut markiert ist.
Kombinieren Sie langen Kontext und Cache
Die stärkste Kombination: Ein stabiler langer Kontext (Referenzdokumentation, Quellcode), der vom Cache profitiert, mit kurzen, dynamischen Ergänzungen (Benutzerfrage) am Ende. Sie erhalten die Leistung des langen Kontextes zu Cache-Preisen.
Füllen Sie den Kontext nicht unnötig
Nur weil Sie eine Million Tokens einfügen können, bedeutet das nicht, dass Sie dies systematisch tun sollten. Jeder Token hat einen Kostenfaktor, kann potenziell die 200k-Grenze überschreiten und die Latenz erhöhen. Wählen Sie den für die jeweilige Aufgabe relevanten Kontext, anstatt standardmäßig alles zu senden – und denken Sie daran, dass RAG für die Abfrage großer Korpora oft günstiger bleibt als der lange Kontext.
Kernaussagen
- Fenster variieren je nach Modell: 1M für grok-4.3 und die 4.20-Generation, 500k für grok-4.5, 256k für grok-build-0.1
- Eine Million Tokens entspricht etwa 750.000 Wörtern – ideal für Code, lange Dokumente und ausgedehnte Gespräche
- Achten Sie auf die Schwelle: Ab 200.000 Kontext-Tokens verdoppelt sich der Satz pro Token
- Die Latenz steigt mit der Kontextgröße – planen Sie entsprechende Timeouts
- Cache (75 % bis 85 % Reduktion bei Eingabe) ist unerlässlich, um lange Kontexte wirtschaftlich zu gestalten
- Die Qualität der Aufmerksamkeit variiert: Platzieren Sie kritische Informationen am Anfang oder Ende des Kontextes