Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

De cache-treffers optimaliseren

Les 10 van 14 Bijgewerkt op 29 juli 2026 Gevorderd
Op deze pagina
  1. Structureer uw prompts voor caching
  2. De gouden regel: wijzig de geschiedenis niet
  3. Een prompt-architectuur die goed cachet
  4. De reflex die alles verpest: de geschiedenis inkorten
  5. Meten en verbeteren
  6. Belangrijkste punten

Structureer uw prompts voor caching

De Grok API-cache werkt via prefix-matching. Tokens worden in volgorde gecachet, van eerste tot laatste, en het matchen stopt bij het eerste afwijkende teken. Het gevolg is ingrijpend: wijzigt u één token halverwege uw prompt, dan verliest alles wat daarna komt zijn cache, zelfs als de rest woord voor woord identiek is. Een tijdstempel van twintig tekens aan het begin van een prompt volstaat om de volledige prijs in rekening te brengen voor de 50.000 tokens die volgen. Het structureren van uw prompts is geen technische ijdelheid; het is het verschil tussen een factuur van $200 en een van $1.000 voor dezelfde dienst.

De gouden regel: wijzig de geschiedenis niet

De meest voorkomende valkuil in productie is het aanpassen van de berichtengeschiedenis tussen verzoeken door. Een eerder bericht herformatteren, beurten herschikken, een huidige datum of sessie-ID in de systeemprompt injecteren: elk van deze ogenschijnlijk onschuldige handelingen maakt de cache ongeldig vanaf het punt van wijziging tot het einde. Het meest wijdverbreide geval past in één regel code:

# BAD: timestamp in system prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Deze tijdstempel verandert bij elke aanroep. Omdat deze zich in het allereerste bericht bevindt, faalt het prefix-matching bij het eerste token en wordt de volledige prompt tegen het standaardtarief gefactureerd, gesprek na gesprek. Als uw model de datum echt moet weten, plaatst u deze in het laatste gebruikersbericht, waar slechts enkele tientallen niet-gecachete tokens kosten.

De correcte versie van dezelfde prompt houdt een strikt vaste kop aan, een geschiedenis die alleen wordt uitgebreid (append-only), en concentreert alle nieuwigheden aan het einde:

# GOOD: static content first, variables at the end
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UNCHANGED conversation history
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Only the last message is new
    {"role": "user", "content": "User's new question"}
]

Een prompt-architectuur die goed cachet

Het principe past in één zin: van meest stabiel naar meest variabel. Concreet volgen vier lagen in deze volgorde op elkaar.

  1. Systeemprompt (stabiel): algemene instructies, persona, regels
  2. Referentiecontext (stabiel): documentatie, kennisbank
  3. Gespreksgeschiedenis (incrementeel): alleen toevoegen, nooit wijzigen
  4. Huidig bericht (variabel): het nieuwe verzoek van de gebruiker

Met deze opbouw vallen de lagen 1 tot 3 in de cache, en wordt alleen laag 4 tegen het standaardtarief gefactureerd. Bij een applicatie waar de systeemprompt en repository samen 8.000 tokens wegen, worden bij een gebruikersvraag van 60 tokens alleen die 60 tokens tegen de volle prijs gefactureerd.

Deze logica geldt ook voor minder voor de hand liggende gevallen. Als uw applicatie berust op een lange referentiecontext—productdocumentatie, FAQ, technische specificaties—plaats deze dan direct na de systeemprompt: deze wordt gecachet vanaf het tweede verzoek van elk gesprek. En in tegenstelling tot wat vaak wordt aangenomen, blijft het voordeel niet beperkt tot één sessie: twee verschillende gesprekken die dezelfde prefix delen, dezelfde systeemprompt en dezelfde referentiecontext, cachen elkaar. In een multi-user applicatie met een gemeenschappelijke prompt profiteert elke gebruiker van het verkeer van anderen, waardoor een lange, stabiele systeemprompt veel minder kostbaar is dan het op het eerste gezicht lijkt.

De reflex die alles verpest: de geschiedenis inkorten

Wanneer een gesprek langer wordt en de contextlimiet nadert, is de instinctieve reactie om de oudste berichten weg te knippen. Dit is precies wat u niet moet doen: door het begin te verwijderen, verschuift u alles wat volgt en vernietigt u het prefix-matching. U bespaart een paar duizend tokens, maar betaalt vijftigduizend tegen de volle prijs terug. Geef de voorkeur aan samenvatting, die oude uitwisselingen eenmalig condenseert tot een herschreven systeemprompt, terwijl de recente berichten intact blijven:

# Instead of truncating history:
# messages = messages[-10:]  # BAD: breaks cache

# Summarize old messages into the system prompt:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Recent messages unmodified
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Meten en verbeteren

Volg de dagelijkse cache-trefferpercentage als een productie-metric op zich, net als een foutpercentage. Hier leest u hoe u de waargenomen waarde moet interpreteren.

Cache-percentageInterpretatie
Minder dan 30%Slecht gestructureerde prompts of variabele elementen aan het begin van de reeks
30 tot 60%Aanvaardbaar voor korte gesprekken, verbeterbaar met een langere, stabiele systeemprompt
Meer dan 60%Goed resultaat, typisch voor goed gestructureerde prompts
Meer dan 80%Uitstekend, de besparingen zijn aanzienlijk

De waarde van deze tracking is vooral differentieel. Een stabiele waarde van 65% die ‘s nachts daalt naar 20% wijst binnen enkele uren op een foutieve deployment: in bijna alle gevallen is er zojuist een variabele aan het hoofd van de prompt toegevoegd. Test het zelf op uw huidige applicatie: neem het gemiddelde percentage over honderd verzoeken, verplaats een variabel element naar het einde van de prompt en vergelijk.

Belangrijkste punten

  • Cache werkt via prefix-matching: wijzig nooit tokens aan het begin van de prompt
  • Structureer uw prompts van meest stabiel naar meest variabel
  • Voeg nooit variabele gegevens (tijdstempel, ID’s) toe in de systeemprompt
  • Geef de voorkeur aan samenvatting boven inkorting om de cache bij lange gesprekken te behouden
  • Monitor uw dagelijkse cache-trefferpercentage als een financiële prestatiemetric