Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Optimera cachen

Lektion 8 av 14 Uppdaterad 29 juli 2026 Utvecklare
På denna sida
  1. Cache: En avgörande prestandafaktor
  2. Hur cachen fungerar
  3. Den gyllene regeln: Ändra inte historiken
  4. Det stabila prefixet
  5. Verklig påverkan
  6. För agentutvecklare
  7. Viktiga punkter

Cache: En avgörande prestandafaktor

Cache-träffar är den främsta drivkraften för inferenshastighet hos grok-build-0.1. När början av din begäran (prefixet) matchar en tidigare begäran, hämtar modellen redan beräknade värden från cachen. Resultatet: svaret levereras betydligt snabbare.

Att förstå denna mekanism låter dig optimera dina interaktioner för nästan omedelbara svar.

Hur cachen fungerar

Cachen bygger på principen om gemensamt prefix:

  1. Du skickar en prompt med konversationshistorik
  2. Modellen beräknar token från början (systemprompt + historik)
  3. Om detta prefix har beräknats nyligen hämtas det från cachen
  4. Endast nya token (ditt senaste meddelande) kräver fullständig beräkning

Ju längre det gemensamma prefixet är, desto större blir vinsten. I ett parprogrammeringsscenario där ni utbyter flera meddelanden återanvänder varje begäran hela den tidigare historiken.

Den gyllene regeln: Ändra inte historiken

Detta är den viktigaste punkten i denna lektion. Undvik att ändra prompt-historiken mellan två begäranden. Varje ändring i början av konversationen ogiltigförklarar cachen.

Vad som bryter cachen

  • Ändra ordningen på meddelanden i historiken
  • Ändra ett tidigare meddelande (även en enda tecken)
  • Radera meddelanden från historiken
  • Infoga ett meddelande mitt i konversationen
  • Ändra systemprompten under konversationen

Vad som bevarar cachen

  • Lägga till ett nytt meddelande i slutet av konversationen (normalt beteende)
  • Behålla systemprompten identisk under hela sessionen
  • Behålla historiken intakt utan ändringar

Det stabila prefixet

För att maximera cache-träffar bör du strukturera dina begäranden med ett stabilt prefix:

[System prompt (fixed)]
[User message 1 (fixed)]
[Model response 1 (fixed)]
[User message 2 (fixed)]
[Model response 2 (fixed)]
...
[New user message] ← only part computed

Systemprompten är särskilt viktig. Definiera den en gång i början av sessionen och ändra den inte. Om du utvecklar en API-agent med grok-build-0.1 ska du skriva en komplett och stabil systemprompt.

Verklig påverkan

I ett typiskt parprogrammeringsscenario med 10 utbyten:

  • Utan cacheoptimering: varje begäran beräknar om hela historiken. Latensen ökar med varje utbyte
  • Med optimerad cache: endast det senaste meddelandet beräknas. Latensen förblir konstant oavsett konversationens längd

Skillnaden kan ligga på några sekunder per interaktion. Under en utvecklingssession på en timme med hundratals utbyten blir den ackumulerade vinsten betydande.

För agentutvecklare

Om du bygger en API-agent som använder grok-build-0.1 i scenarier med sekventiell verktygsanvändning:

  • Prefixet förblir identiskt mellan varje verktygsanrop, vilket hämtas från cachen automatiskt
  • Formatera inte om verktygsresultat innan du skickar tillbaka dem till modellen
  • Undvik transformationer av historiken (sammanfattning, komprimering) som skulle bryta cachen
  • Behåll samma meddelandeordning vid varje anrop

Viktiga punkter

  • Cache-träffar är den främsta hastighetsfaktorn för grok-build-0.1
  • Ändra aldrig prompt-historiken mellan två begäranden
  • Systemprompten måste förbli stabil under hela sessionen
  • Lägg till i slutet, ändra aldrig i början
  • I sekventiella agenter fungerar cachen naturligt om historiken bevaras