Cache-Trefferquote optimieren
Auf dieser Seite
Ihre Prompts für das Caching strukturieren
Der Grok-API-Cache funktioniert über das Präfix-Matching. Tokens werden in der Reihenfolge von links nach rechts gespeichert, und das Matching bricht bei dem ersten abweichenden Zeichen ab. Die Konsequenz ist gravierend: Ändern Sie ein Token mitten im Prompt, und alles danach verliert seinen Cache, auch wenn der Rest wortwörtlich identisch ist. Ein Zeitstempel mit zwanzig Zeichen am Anfang eines Prompts reicht aus, um die folgenden 50.000 Tokens vollständig zu berechnen. Die Strukturierung Ihrer Prompts ist kein technischer Selbstzweck – sie ist der Unterschied zwischen einer Rechnung über 200 USD und einer über 1.000 USD für denselben Service.
Die Goldene Regel: Verändern Sie die Historie nicht
Der häufigste Fehler in der Produktion besteht darin, die Nachrichtenhistorie zwischen den Aufrufen anzupassen. Das Neformatieren einer vorherigen Nachricht, das Umrorden von Turns oder das Einfügen eines aktuellen Datums oder einer Sitzungs-ID in den System-Prompt: Jede dieser Handlungen, die auf den ersten Blick harmlos erscheinen, ungültigt den Cache ab dem Punkt der Änderung. Der weit verbreitetste Fall lässt sich in einer einzigen Codezeile zusammenfassen:
# SCHLECHT: Zeitstempel im System-Prompt
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Dieser Zeitstempel ändert sich bei jedem Aufruf. Da er sich im allerersten Befind befindet, scheitert das Präfix-Matching bereits beim ersten Token, und der gesamte Prompt wird pro Aufruf zum Standardpreis berechnet, Gespräch für Gespräch. Wenn Ihr Modell das Datum wirklich benötigt, platzieren Sie es am Ende der letzten Benutzer-Nachricht, wo es nur wenige Dutzend nicht gecachte Tokens kostet.
Die korrekte Version desselben Prompts hält einen strikt festen Header, eine append-only-Historie und konzentriert alle Neuheiten am Ende:
# GUT: statischer Inhalt zuerst, Variablen am Ende
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# UNVERÄNDERTER Gesprächsverlauf
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Nur die letzte Nachricht ist neu
{"role": "user", "content": "User's new question"}
]
Eine Prompt-Architektur, die gut cacht
Das Prinzip lässt sich in einem Satz zusammenfassen: Von am stabilsten bis am variabelsten. Konkret folgen vier Schichten in dieser Reihenfolge.
- System-Prompt (stabil): Allgemeine Anweisungen, Persona, Regeln
- Referenzkontext (stabil): Dokumentation, Wissensdatenbank
- Gesprächshistorie (inkrementell): Nur append, niemals ändern
- Aktuelle Nachricht (variabel): Die neue Anfrage des Benutzers
Bei dieser Anordnung fallen Schichten 1 bis 3 in den Cache, und nur Schicht 4 wird zum Standardpreis berechnet. Bei einer Anwendung, bei der der System-Prompt und das Repository 8.000 Tokens wiegen, werden nur die 60 Tokens der Benutzeranfrage zum vollen Preis berechnet.
Diese Logik erstreckt sich auch auf weniger offensichtliche Fälle. Wenn Ihre Anwendung auf einen langen Referenzkontext angewiesen ist – Produktdokumentation, FAQ, technische Spezifikationen – platzieren Sie ihn direkt nach dem System-Prompt: Ab dem zweiten Aufruf jedes Gesprächs wird er gecacht. Und entgegen der landläufigen Annahme beschränkt sich der Nutzen nicht auf eine einzelne Sitzung: Zwei getrennte Gespräche, die dasselbe Präfix, denselben System-Prompt und denselben Referenzkontext teilen, cachen sich gegenseitig. In einer Mehrbenutzer-Anwendung mit einem gemeinsamen Prompt profitieren alle Benutzer vom Datenverkehr der anderen, wodurch ein langer, stabiler System-Prompt kostengünstiger ist, als er auf den ersten Blick erscheint.
Der Reflex, der alles zerstört: Historie kürzen
Wenn ein Gespräch länger wird und sich dem Kontextlimit nähert, ist der Instinkt, die frühesten Nachrichten zu kürzen. Genau das dürfen Sie nicht tun: Durch das Entfernen des Anfangs verschieben Sie alles andere und zerstören das Präfix-Matching. Sie sparen einige tausend Tokens und zahlen dafür fünfundzwanzigtausend zum vollen Preis. Bevorzugen Sie die Zusammenfassung, die alte Austausche in einen umgeschriebenen System-Prompt kondensiert und die jüngsten Nachrichten intakt lässt:
# Statt der Historie zu kürzen:
# messages = messages[-10:] # SCHLECHT: bricht den Cache
# Alte Nachrichten in den System-Prompt zusammenfassen:
messages = [
{"role": "system", "content": "Instructions... Zusammenfassung vorheriger Austausche: ..."},
# Jüngste Nachrichten unverändert
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "Neue Frage"}
]
Messen und verbessern
Verfolgen Sie die tägliche Cache-Trefferquote als eigenständigen Produktionsmetrik, genau wie die Fehlerrate. Hier ist die Interpretation des beobachteten Werts.
| Cache-Rate | Interpretation |
|---|---|
| Weniger als 30 % | Schlecht strukturierte Prompts oder variable Elemente am Anfang der Sequenz |
| 30 bis 60 % | Akzeptabel für kurze Gespräche, mit einem längeren, stabilen System-Prompt verbesserbar |
| Mehr als 60 % | Gutes Ergebnis, typisch für gut strukturierte Prompts |
| Mehr als 80 % | Ausgezeichnet, die Einsparungen sind signifikant |
Der Wert dieser Verfolgung ist vor allem differential. Ein stabiler Wert von 65 %, der über Nacht auf 20 % fällt, weist innerhalb weniger Stunden auf die fehlerhafte Bereitstellung hin: In fast allen Fällen wurde gerade eine Variable am Kopf des Prompts eingeführt. Testen Sie dies selbst an Ihrer aktuellen Anwendung – nehmen Sie den Durchschnittswert über hundert Anfragen, bewegen Sie ein variables Element ans Ende des Prompts und vergleichen Sie.
Kernaussagen
- Der Cache funktioniert über Präfix-Matching: Ändern Sie niemals Tokens am Anfang des Prompts
- Strukturieren Sie Ihre Prompts von am stabilsten bis am variabelsten
- Fügen Sie niemals variable Daten (Zeitstempel, IDs) in den System-Prompt ein
- Bevorzugen Sie die Zusammenfassung gegenüber dem Kürzen, um den Cache bei langen Gesprächen zu erhalten
- Überwachen Sie Ihre tägliche Cache-Trefferquote als finanzielle Performance-Metrik