Cache optimieren
Auf dieser Seite
Cache: Ein entscheidender Leistungsfaktor
Cache-Treffer sind der Haupttreiber für die Inferenzgeschwindigkeit von grok-build-0.1. Wenn der Anfang Ihrer Anfrage (der Präfix) einer vorherigen Anfrage entspricht, ruft das Modell bereits berechnete Berechnungen aus dem Cache ab. Ergebnis: Die Antwort kommt deutlich schneller an.
Das Verständnis dieses Mechanismus ermöglicht es Ihnen, Ihre Interaktionen für nahezu sofortige Antworten zu optimieren.
Funktionsweise des Caches
Der Cache basiert auf dem Prinzip des gemeinsamen Präfixes:
- Sie senden einen Prompt mit Gesprächsverlauf
- Das Modell berechnet Tokens ab dem Anfang (System-Prompt + Verlauf)
- Wenn dieser Präfix kürzlich berechnet wurde, wird er aus dem Cache abgerufen
- Nur neue Tokens (Ihre letzte Nachricht) erfordern eine vollständige Berechnung
Je länger das gemeinsame Präfix ist, desto größer ist der Gewinn. In einem Szenario des Pair Programmierens, bei dem Sie mehrere Nachrichten austauschen, wird jede Anfrage den gesamten vorherigen Verlauf wiederverwenden.
Die goldene Regel: Den Verlauf nicht ändern
Dies ist der wichtigste Punkt dieser Lektion. Vermeiden Sie es, den Prompt-Verlauf zwischen zwei Anfragen zu ändern. Jede Änderung am Anfang des Gesprächs ungültigt den Cache.
Was den Cache zerstört
- Neuordnung von Nachrichten im Verlauf
- Ändern einer vorherigen Nachricht (auch nur ein einzelnes Zeichen)
- Löschen von Nachrichten aus dem Verlauf
- Einfügen einer Nachricht mitten in das Gespräch
- Ändern des System-Prompts während des Gesprächs
Was den Cache erhält
- Hinzufügen einer neuen Nachricht am Ende des Gesprächs (normales Verhalten)
- Beibehalten eines identischen System-Prompts während der gesamten Sitzung
- Unveränderter Verlauf ohne Modifikationen
Der stabile Präfix
Um Cache-Treffer zu maximieren, strukturieren Sie Ihre Anfragen mit einem stabilen Präfix:
[System prompt (fixiert)]
[Nutzer-Nachricht 1 (fixiert)]
[Modell-Antwort 1 (fixiert)]
[Nutzer-Nachricht 2 (fixiert)]
[Modell-Antwort 2 (fixiert)]
...
[Neue Nutzer-Nachricht] ← nur dieser Teil wird berechnet
Der System-Prompt ist besonders wichtig. Definieren Sie ihn einmal am Anfang der Sitzung und ändern Sie ihn nicht. Wenn Sie mit grok-build-0.1 einen API-Agenten entwickeln, verfassen Sie einen vollständigen und stabilen System-Prompt.
Reale Auswirkungen
In einem typischen Szenario des Pair Programmierens mit 10 Austauschvorgängen:
- Ohne Cache-Optimierung: Jede Anfrage berechnet den gesamten Verlauf neu. Die Latenz steigt mit jedem Austausch.
- Mit optimiertem Cache: Nur die letzte Nachricht wird berechnet. Die Latenz bleibt konstant, unabhängig von der Länge des Gesprächs.
Der Unterschied kann in der Größenordnung von wenigen Sekunden pro Interaktion liegen. Über eine einstündige Entwicklungssitzung mit hunderten von Austauschvorgängen ist der kumulierte Gewinn beträchtlich.
Für Agenten-Entwickler
Wenn Sie einen API-Agenten erstellen, der grok-build-0.1 in Szenarien der sequentiellen Werkzeugnutzung einsetzt:
- Der Präfix bleibt zwischen jedem Werkzeugaufruf identisch und wird automatisch aus dem Cache abgerufen.
- Reformattieren Sie Werkzeugergebnisse nicht, bevor Sie sie an das Modell zurücksenden.
- Vermeiden Sie Verlaufstransformationen (Zusammenfassung, Komprimierung), die den Cache zerstören würden.
- Halten Sie bei jedem Aufruf die gleiche Nachrichtenreihenfolge bei.
Kernaussagen
- Cache-Treffer sind der primäre Geschwindigkeitsfaktor für grok-build-0.1.
- Ändern Sie den Prompt-Verlauf zwischen zwei Anfragen niemals.
- Der System-Prompt muss während der gesamten Sitzung stabil bleiben.
- Fügen Sie am Ende hinzu, ändern Sie niemals den Anfang.
- Bei sequentiellen Agenten funktioniert der Cache von selbst, wenn der Verlauf erhalten bleibt.