De cache-treffers optimaliseren
Op deze pagina
Structureer uw prompts voor caching
De Grok API-cache werkt via prefix-matching. Tokens worden in volgorde gecachet, van eerste tot laatste, en het matchen stopt bij het eerste afwijkende teken. Het gevolg is ingrijpend: wijzigt u één token halverwege uw prompt, dan verliest alles wat daarna komt zijn cache, zelfs als de rest woord voor woord identiek is. Een tijdstempel van twintig tekens aan het begin van een prompt volstaat om de volledige prijs in rekening te brengen voor de 50.000 tokens die volgen. Het structureren van uw prompts is geen technische ijdelheid; het is het verschil tussen een factuur van $200 en een van $1.000 voor dezelfde dienst.
De gouden regel: wijzig de geschiedenis niet
De meest voorkomende valkuil in productie is het aanpassen van de berichtengeschiedenis tussen verzoeken door. Een eerder bericht herformatteren, beurten herschikken, een huidige datum of sessie-ID in de systeemprompt injecteren: elk van deze ogenschijnlijk onschuldige handelingen maakt de cache ongeldig vanaf het punt van wijziging tot het einde. Het meest wijdverbreide geval past in één regel code:
# BAD: timestamp in system prompt
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Deze tijdstempel verandert bij elke aanroep. Omdat deze zich in het allereerste bericht bevindt, faalt het prefix-matching bij het eerste token en wordt de volledige prompt tegen het standaardtarief gefactureerd, gesprek na gesprek. Als uw model de datum echt moet weten, plaatst u deze in het laatste gebruikersbericht, waar slechts enkele tientallen niet-gecachete tokens kosten.
De correcte versie van dezelfde prompt houdt een strikt vaste kop aan, een geschiedenis die alleen wordt uitgebreid (append-only), en concentreert alle nieuwigheden aan het einde:
# GOOD: static content first, variables at the end
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# UNCHANGED conversation history
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Only the last message is new
{"role": "user", "content": "User's new question"}
]
Een prompt-architectuur die goed cachet
Het principe past in één zin: van meest stabiel naar meest variabel. Concreet volgen vier lagen in deze volgorde op elkaar.
- Systeemprompt (stabiel): algemene instructies, persona, regels
- Referentiecontext (stabiel): documentatie, kennisbank
- Gespreksgeschiedenis (incrementeel): alleen toevoegen, nooit wijzigen
- Huidig bericht (variabel): het nieuwe verzoek van de gebruiker
Met deze opbouw vallen de lagen 1 tot 3 in de cache, en wordt alleen laag 4 tegen het standaardtarief gefactureerd. Bij een applicatie waar de systeemprompt en repository samen 8.000 tokens wegen, worden bij een gebruikersvraag van 60 tokens alleen die 60 tokens tegen de volle prijs gefactureerd.
Deze logica geldt ook voor minder voor de hand liggende gevallen. Als uw applicatie berust op een lange referentiecontext—productdocumentatie, FAQ, technische specificaties—plaats deze dan direct na de systeemprompt: deze wordt gecachet vanaf het tweede verzoek van elk gesprek. En in tegenstelling tot wat vaak wordt aangenomen, blijft het voordeel niet beperkt tot één sessie: twee verschillende gesprekken die dezelfde prefix delen, dezelfde systeemprompt en dezelfde referentiecontext, cachen elkaar. In een multi-user applicatie met een gemeenschappelijke prompt profiteert elke gebruiker van het verkeer van anderen, waardoor een lange, stabiele systeemprompt veel minder kostbaar is dan het op het eerste gezicht lijkt.
De reflex die alles verpest: de geschiedenis inkorten
Wanneer een gesprek langer wordt en de contextlimiet nadert, is de instinctieve reactie om de oudste berichten weg te knippen. Dit is precies wat u niet moet doen: door het begin te verwijderen, verschuift u alles wat volgt en vernietigt u het prefix-matching. U bespaart een paar duizend tokens, maar betaalt vijftigduizend tegen de volle prijs terug. Geef de voorkeur aan samenvatting, die oude uitwisselingen eenmalig condenseert tot een herschreven systeemprompt, terwijl de recente berichten intact blijven:
# Instead of truncating history:
# messages = messages[-10:] # BAD: breaks cache
# Summarize old messages into the system prompt:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Recent messages unmodified
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Meten en verbeteren
Volg de dagelijkse cache-trefferpercentage als een productie-metric op zich, net als een foutpercentage. Hier leest u hoe u de waargenomen waarde moet interpreteren.
| Cache-percentage | Interpretatie |
|---|---|
| Minder dan 30% | Slecht gestructureerde prompts of variabele elementen aan het begin van de reeks |
| 30 tot 60% | Aanvaardbaar voor korte gesprekken, verbeterbaar met een langere, stabiele systeemprompt |
| Meer dan 60% | Goed resultaat, typisch voor goed gestructureerde prompts |
| Meer dan 80% | Uitstekend, de besparingen zijn aanzienlijk |
De waarde van deze tracking is vooral differentieel. Een stabiele waarde van 65% die ‘s nachts daalt naar 20% wijst binnen enkele uren op een foutieve deployment: in bijna alle gevallen is er zojuist een variabele aan het hoofd van de prompt toegevoegd. Test het zelf op uw huidige applicatie: neem het gemiddelde percentage over honderd verzoeken, verplaats een variabel element naar het einde van de prompt en vergelijk.
Belangrijkste punten
- Cache werkt via prefix-matching: wijzig nooit tokens aan het begin van de prompt
- Structureer uw prompts van meest stabiel naar meest variabel
- Voeg nooit variabele gegevens (tijdstempel, ID’s) toe in de systeemprompt
- Geef de voorkeur aan samenvatting boven inkorting om de cache bij lange gesprekken te behouden
- Monitor uw dagelijkse cache-trefferpercentage als een financiële prestatiemetric