Optimera cachen
På denna sida
Cache: En avgörande prestandafaktor
Cache-träffar är den främsta drivkraften för inferenshastighet hos grok-build-0.1. När början av din begäran (prefixet) matchar en tidigare begäran, hämtar modellen redan beräknade värden från cachen. Resultatet: svaret levereras betydligt snabbare.
Att förstå denna mekanism låter dig optimera dina interaktioner för nästan omedelbara svar.
Hur cachen fungerar
Cachen bygger på principen om gemensamt prefix:
- Du skickar en prompt med konversationshistorik
- Modellen beräknar token från början (systemprompt + historik)
- Om detta prefix har beräknats nyligen hämtas det från cachen
- Endast nya token (ditt senaste meddelande) kräver fullständig beräkning
Ju längre det gemensamma prefixet är, desto större blir vinsten. I ett parprogrammeringsscenario där ni utbyter flera meddelanden återanvänder varje begäran hela den tidigare historiken.
Den gyllene regeln: Ändra inte historiken
Detta är den viktigaste punkten i denna lektion. Undvik att ändra prompt-historiken mellan två begäranden. Varje ändring i början av konversationen ogiltigförklarar cachen.
Vad som bryter cachen
- Ändra ordningen på meddelanden i historiken
- Ändra ett tidigare meddelande (även en enda tecken)
- Radera meddelanden från historiken
- Infoga ett meddelande mitt i konversationen
- Ändra systemprompten under konversationen
Vad som bevarar cachen
- Lägga till ett nytt meddelande i slutet av konversationen (normalt beteende)
- Behålla systemprompten identisk under hela sessionen
- Behålla historiken intakt utan ändringar
Det stabila prefixet
För att maximera cache-träffar bör du strukturera dina begäranden med ett stabilt prefix:
[System prompt (fixed)]
[User message 1 (fixed)]
[Model response 1 (fixed)]
[User message 2 (fixed)]
[Model response 2 (fixed)]
...
[New user message] ← only part computed
Systemprompten är särskilt viktig. Definiera den en gång i början av sessionen och ändra den inte. Om du utvecklar en API-agent med grok-build-0.1 ska du skriva en komplett och stabil systemprompt.
Verklig påverkan
I ett typiskt parprogrammeringsscenario med 10 utbyten:
- Utan cacheoptimering: varje begäran beräknar om hela historiken. Latensen ökar med varje utbyte
- Med optimerad cache: endast det senaste meddelandet beräknas. Latensen förblir konstant oavsett konversationens längd
Skillnaden kan ligga på några sekunder per interaktion. Under en utvecklingssession på en timme med hundratals utbyten blir den ackumulerade vinsten betydande.
För agentutvecklare
Om du bygger en API-agent som använder grok-build-0.1 i scenarier med sekventiell verktygsanvändning:
- Prefixet förblir identiskt mellan varje verktygsanrop, vilket hämtas från cachen automatiskt
- Formatera inte om verktygsresultat innan du skickar tillbaka dem till modellen
- Undvik transformationer av historiken (sammanfattning, komprimering) som skulle bryta cachen
- Behåll samma meddelandeordning vid varje anrop
Viktiga punkter
- Cache-träffar är den främsta hastighetsfaktorn för grok-build-0.1
- Ändra aldrig prompt-historiken mellan två begäranden
- Systemprompten måste förbli stabil under hela sessionen
- Lägg till i slutet, ändra aldrig i början
- I sekventiella agenter fungerar cachen naturligt om historiken bevaras