Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Optimér cachen

Lektion 8 af 14 Opdateret 29. juli 2026 Udvikler
På denne side
  1. Cache: En afgørende faktor for ydeevnen
  2. Sådan fungerer cachen
  3. Den gyldne regel: Ændr ikke historikken
  4. Det stabile præfiks
  5. Virkelig indvirkning
  6. Til udviklere af agenter
  7. Vigtige pointer

Cache: En afgørende faktor for ydeevnen

Cache-træf er den primære drivkraft bag inferenshastigheden for grok-build-0.1. Når starten af din anmodning (præfikset) matcher en tidligere anmodning, henter modellen allerede beregnede resultater fra cachen. Resultatet er, at svaret kommer meget hurtigere.

Når du forstår denne mekanisme, kan du optimere dine interaktioner for at opnå næsten øjeblikkelige svar.

Sådan fungerer cachen

Cachen opererer efter princippet om fælles præfiks:

  1. Du sender en prompt med konversationshistorik
  2. Modellen beregner tokens fra starten (system-prompt + historik)
  3. Hvis dette præfiks er blevet beregnet for nylig, hentes det fra cachen
  4. Kun nye tokens (din sidste besked) kræver fuld beregning

Jo længere det fælles præfiks er, desto større er gevinsten. I et scenarie med parprogrammering, hvor du udveksler flere beskeder, genbruger hver anmodning al tidligere historik.

Den gyldne regel: Ændr ikke historikken

Dette er det vigtigste punkt i denne lektion. Undgå at ændre prompt-historikken mellem to anmodninger. Enhver ændring i starten af samtalen ugyldiggør cachen.

Hvad der ødelægger cachen

  • Omrokering af beskeder i historikken
  • Ændring af en tidligere besked (selv et enkelt tegn)
  • Sletning af beskeder fra historikken
  • Indsættelse af en besked midt i samtalen
  • Ændring af system-prompten under samtalen

Hvad der bevarer cachen

  • Tilføjelse af en ny besked til slutningen af samtalen (normal adfærd)
  • Beholdelse af den samme system-prompt gennem hele sessionen
  • Beholdelse af historikken intakt uden ændringer

Det stabile præfiks

For at maksimere antallet af cache-træf skal du strukturere dine anmodninger med et stabilt præfiks:

[System prompt (fixed)]
[User message 1 (fixed)]
[Model response 1 (fixed)]
[User message 2 (fixed)]
[Model response 2 (fixed)]
...
[New user message] ← only part computed

System-prompten er særligt vigtig. Definer den én gang i starten af sessionen, og ændr den ikke. Hvis du udvikler en API-agent med grok-build-0.1, skal du skrive en komplet og stabil system-prompt.

Virkelig indvirkning

I et typisk scenarie med parprogrammering med 10 udvekslinger:

  • Uden cache-optimering: Hver anmodning genberegner hele historikken. Latensen stiger med hver udveksling.
  • Med optimeret cache: Kun den sidste besked beregnes. Latensen forbliver konstant uanset samtalens længde.

Forskellen kan være på flere sekunder pr. interaktion. Over en udviklingssession på én time med hundredvis af udvekslinger er den kumulative gevinst betydelig.

Til udviklere af agenter

Hvis du bygger en API-agent, der bruger grok-build-0.1 i scenarier med sekventiel værktøjsbrug:

  • Præfikset forbliver identisk mellem hvert værktøjskald, hvilket hentes automatisk fra cachen
  • Undgå at omformatere værktøjsresultater, før du sender dem tilbage til modellen
  • Undgå transformationer af historikken (opsummering, komprimering), der ville ødelægge cachen
  • Behold den samme rækkefølge af beskeder ved hvert kald

Vigtige pointer

  • Cache-træf er den primære hastighedsfaktor for grok-build-0.1
  • Ændr aldrig prompt-historikken mellem to anmodninger
  • System-prompten skal forblive stabil gennem hele sessionen
  • Tilføj til slutningen, ændr aldrig starten
  • I sekventielle agenter fungerer cachen naturligt, hvis historikken bevares