Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

De cache optimaliseren

Les 8 van 14 Bijgewerkt op 29 juli 2026 Ontwikkelaar
Op deze pagina
  1. Cache: Een cruciale prestatiefactor
  2. Hoe de cache werkt
  3. De gouden regel: wijzig de geschiedenis niet
  4. Het stabiele prefix
  5. Praktische impact
  6. Voor agent-ontwikkelaars
  7. Belangrijkste punten

Cache: Een cruciale prestatiefactor

Cache-hits zijn de belangrijkste drijfveer voor de inferentiesnelheid van grok-build-0.1. Wanneer het begin van uw verzoek (het prefix) overeenkomt met een eerder verzoek, haalt het model reeds berekende gegevens uit de cache. Resultaat: het antwoord arriveert veel sneller.

Inzicht in dit mechanisme stelt u in staat uw interacties te optimaliseren voor bijna onmiddellijke reacties.

Hoe de cache werkt

De cache werkt volgens het principe van het gemeenschappelijke prefix:

  1. U verzendt een prompt met conversatiegeschiedenis
  2. Het model berekent tokens vanaf het begin (systeemprompt + geschiedenis)
  3. Als dit prefix recent is berekend, wordt het uit de cache gehaald
  4. Alleen nieuwe tokens (uw laatste bericht) vereisen volledige berekening

Hoe langer het gemeenschappelijke prefix, hoe groter de winst. In een pair-programming-scenario waarin u meerdere berichten uitwisselt, hergebruikt elk verzoek de volledige eerdere geschiedenis.

De gouden regel: wijzig de geschiedenis niet

Dit is het belangrijkste punt in deze les. Vermijd het wijzigen van de promptgeschiedenis tussen twee verzoeken. Elke wijziging aan het begin van de conversatie maakt de cache ongeldig.

Wat de cache verbreekt

  • Herrangschikken van berichten in de geschiedenis
  • Wijzigen van een eerder bericht (zelfs één teken)
  • Verwijderen van berichten uit de geschiedenis
  • Invoegen van een bericht midden in de conversatie
  • Wijzigen van de systeemprompt tijdens de conversatie

Wat de cache behoudt

  • Toevoegen van een nieuw bericht aan het einde van de conversatie (normaal gedrag)
  • De systeemprompt identiek houden tijdens de hele sessie
  • De geschiedenis intact houden zonder wijzigingen

Het stabiele prefix

Om cache-hits te maximaliseren, structureert u uw verzoeken met een stabiel prefix:

[Systeemprompt (vast)]
[Gebruikersbericht 1 (vast)]
[Modelantwoord 1 (vast)]
[Gebruikersbericht 2 (vast)]
[Modelantwoord 2 (vast)]
...
[Nieuw gebruikersbericht] ← enigste deel dat wordt berekend

De systeemprompt is bijzonder belangrijk. Definieer deze eenmaal aan het begin van de sessie en wijzig deze niet. Als u een API-agent ontwikkelt met grok-build-0.1, schrijft u een volledige en stabiele systeemprompt.

Praktische impact

In een typisch pair-programming-scenario met 10 uitwisselingen:

  • Zonder cache-optimalisatie: elk verzoek herberekent de volledige geschiedenis. De latentie neemt toe bij elke uitwisseling
  • Met geoptimaliseerde cache: alleen het laatste bericht wordt berekend. De latentie blijft constant, ongeacht de lengte van de conversatie

Het verschil kan enkele seconden per interactie bedragen. Tijdens een ontwikkelsessie van één uur met honderden uitwisselingen is de cumulatieve winst aanzienlijk.

Voor agent-ontwikkelaars

Als u een API-agent bouwt die grok-build-0.1 gebruikt in scenario’s met sequentieel toolgebruik:

  • Het prefix blijft identiek tussen elke tool-aanroep en wordt automatisch uit de cache gehaald
  • Formatteer tool-resultaten niet opnieuw voordat u ze terugstuurt naar het model
  • Vermijd transformaties van de geschiedenis (samenvatting, compressie) die de cache zouden verbreken
  • Houd bij elke aanroep dezelfde volgorde van berichten aan

Belangrijkste punten

  • Cache-hits zijn de belangrijkste snelheidsfactor voor grok-build-0.1
  • Wijzig nooit de promptgeschiedenis tussen twee verzoeken
  • De systeemprompt moet tijdens de hele sessie stabiel blijven
  • Voeg toe aan het einde, wijzig nooit het begin
  • Bij sequentiële agents werkt de cache natuurlijk als de geschiedenis behouden blijft