De cache optimaliseren
Op deze pagina
Cache: Een cruciale prestatiefactor
Cache-hits zijn de belangrijkste drijfveer voor de inferentiesnelheid van grok-build-0.1. Wanneer het begin van uw verzoek (het prefix) overeenkomt met een eerder verzoek, haalt het model reeds berekende gegevens uit de cache. Resultaat: het antwoord arriveert veel sneller.
Inzicht in dit mechanisme stelt u in staat uw interacties te optimaliseren voor bijna onmiddellijke reacties.
Hoe de cache werkt
De cache werkt volgens het principe van het gemeenschappelijke prefix:
- U verzendt een prompt met conversatiegeschiedenis
- Het model berekent tokens vanaf het begin (systeemprompt + geschiedenis)
- Als dit prefix recent is berekend, wordt het uit de cache gehaald
- Alleen nieuwe tokens (uw laatste bericht) vereisen volledige berekening
Hoe langer het gemeenschappelijke prefix, hoe groter de winst. In een pair-programming-scenario waarin u meerdere berichten uitwisselt, hergebruikt elk verzoek de volledige eerdere geschiedenis.
De gouden regel: wijzig de geschiedenis niet
Dit is het belangrijkste punt in deze les. Vermijd het wijzigen van de promptgeschiedenis tussen twee verzoeken. Elke wijziging aan het begin van de conversatie maakt de cache ongeldig.
Wat de cache verbreekt
- Herrangschikken van berichten in de geschiedenis
- Wijzigen van een eerder bericht (zelfs één teken)
- Verwijderen van berichten uit de geschiedenis
- Invoegen van een bericht midden in de conversatie
- Wijzigen van de systeemprompt tijdens de conversatie
Wat de cache behoudt
- Toevoegen van een nieuw bericht aan het einde van de conversatie (normaal gedrag)
- De systeemprompt identiek houden tijdens de hele sessie
- De geschiedenis intact houden zonder wijzigingen
Het stabiele prefix
Om cache-hits te maximaliseren, structureert u uw verzoeken met een stabiel prefix:
[Systeemprompt (vast)]
[Gebruikersbericht 1 (vast)]
[Modelantwoord 1 (vast)]
[Gebruikersbericht 2 (vast)]
[Modelantwoord 2 (vast)]
...
[Nieuw gebruikersbericht] ← enigste deel dat wordt berekend
De systeemprompt is bijzonder belangrijk. Definieer deze eenmaal aan het begin van de sessie en wijzig deze niet. Als u een API-agent ontwikkelt met grok-build-0.1, schrijft u een volledige en stabiele systeemprompt.
Praktische impact
In een typisch pair-programming-scenario met 10 uitwisselingen:
- Zonder cache-optimalisatie: elk verzoek herberekent de volledige geschiedenis. De latentie neemt toe bij elke uitwisseling
- Met geoptimaliseerde cache: alleen het laatste bericht wordt berekend. De latentie blijft constant, ongeacht de lengte van de conversatie
Het verschil kan enkele seconden per interactie bedragen. Tijdens een ontwikkelsessie van één uur met honderden uitwisselingen is de cumulatieve winst aanzienlijk.
Voor agent-ontwikkelaars
Als u een API-agent bouwt die grok-build-0.1 gebruikt in scenario’s met sequentieel toolgebruik:
- Het prefix blijft identiek tussen elke tool-aanroep en wordt automatisch uit de cache gehaald
- Formatteer tool-resultaten niet opnieuw voordat u ze terugstuurt naar het model
- Vermijd transformaties van de geschiedenis (samenvatting, compressie) die de cache zouden verbreken
- Houd bij elke aanroep dezelfde volgorde van berichten aan
Belangrijkste punten
- Cache-hits zijn de belangrijkste snelheidsfactor voor grok-build-0.1
- Wijzig nooit de promptgeschiedenis tussen twee verzoeken
- De systeemprompt moet tijdens de hele sessie stabiel blijven
- Voeg toe aan het einde, wijzig nooit het begin
- Bij sequentiële agents werkt de cache natuurlijk als de geschiedenis behouden blijft