Optimér cachen
På denne side
Cache: En afgørende faktor for ydeevnen
Cache-træf er den primære drivkraft bag inferenshastigheden for grok-build-0.1. Når starten af din anmodning (præfikset) matcher en tidligere anmodning, henter modellen allerede beregnede resultater fra cachen. Resultatet er, at svaret kommer meget hurtigere.
Når du forstår denne mekanisme, kan du optimere dine interaktioner for at opnå næsten øjeblikkelige svar.
Sådan fungerer cachen
Cachen opererer efter princippet om fælles præfiks:
- Du sender en prompt med konversationshistorik
- Modellen beregner tokens fra starten (system-prompt + historik)
- Hvis dette præfiks er blevet beregnet for nylig, hentes det fra cachen
- Kun nye tokens (din sidste besked) kræver fuld beregning
Jo længere det fælles præfiks er, desto større er gevinsten. I et scenarie med parprogrammering, hvor du udveksler flere beskeder, genbruger hver anmodning al tidligere historik.
Den gyldne regel: Ændr ikke historikken
Dette er det vigtigste punkt i denne lektion. Undgå at ændre prompt-historikken mellem to anmodninger. Enhver ændring i starten af samtalen ugyldiggør cachen.
Hvad der ødelægger cachen
- Omrokering af beskeder i historikken
- Ændring af en tidligere besked (selv et enkelt tegn)
- Sletning af beskeder fra historikken
- Indsættelse af en besked midt i samtalen
- Ændring af system-prompten under samtalen
Hvad der bevarer cachen
- Tilføjelse af en ny besked til slutningen af samtalen (normal adfærd)
- Beholdelse af den samme system-prompt gennem hele sessionen
- Beholdelse af historikken intakt uden ændringer
Det stabile præfiks
For at maksimere antallet af cache-træf skal du strukturere dine anmodninger med et stabilt præfiks:
[System prompt (fixed)]
[User message 1 (fixed)]
[Model response 1 (fixed)]
[User message 2 (fixed)]
[Model response 2 (fixed)]
...
[New user message] ← only part computed
System-prompten er særligt vigtig. Definer den én gang i starten af sessionen, og ændr den ikke. Hvis du udvikler en API-agent med grok-build-0.1, skal du skrive en komplet og stabil system-prompt.
Virkelig indvirkning
I et typisk scenarie med parprogrammering med 10 udvekslinger:
- Uden cache-optimering: Hver anmodning genberegner hele historikken. Latensen stiger med hver udveksling.
- Med optimeret cache: Kun den sidste besked beregnes. Latensen forbliver konstant uanset samtalens længde.
Forskellen kan være på flere sekunder pr. interaktion. Over en udviklingssession på én time med hundredvis af udvekslinger er den kumulative gevinst betydelig.
Til udviklere af agenter
Hvis du bygger en API-agent, der bruger grok-build-0.1 i scenarier med sekventiel værktøjsbrug:
- Præfikset forbliver identisk mellem hvert værktøjskald, hvilket hentes automatisk fra cachen
- Undgå at omformatere værktøjsresultater, før du sender dem tilbage til modellen
- Undgå transformationer af historikken (opsummering, komprimering), der ville ødelægge cachen
- Behold den samme rækkefølge af beskeder ved hvert kald
Vigtige pointer
- Cache-træf er den primære hastighedsfaktor for grok-build-0.1
- Ændr aldrig prompt-historikken mellem to anmodninger
- System-prompten skal forblive stabil gennem hele sessionen
- Tilføj til slutningen, ændr aldrig starten
- I sekventielle agenter fungerer cachen naturligt, hvis historikken bevares