Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Optimér cache-hit-raten

Lektion 10 af 14 Opdateret 29. juli 2026 Avanceret
På denne side
  1. Strukturér dine prompts til caching
  2. Den gyldne regel: Modificér aldrig historikken
  3. En prompt-arkitektur, der cacher godt
  4. Refleksen, der ødelægger alt: Afkortning af historikken
  5. Mål og forbedr
  6. Vigtige pointer

Strukturér dine prompts til caching

Grok API-cachen fungerer via præfiks-matchning. Tokens caches i rækkefølge fra først til sidst, og matchningen stopper ved det første tegn, der afviger. Konsekvensen er alvorlig: Ændrer du et token midt i dit prompt, mister alt derefter sin cache, selvom resten er ordret identisk. Et tyve-tegns tidsstempel i starten af et prompt er nok til at udløse fuld pris for de 50.000 tokens, der følger efter. At strukturere dine prompts er ikke ingeniørmæssig forfængelighed – det er forskellen på en regning på $200 og en på $1.000 for den samme tjeneste.

Den gyldne regel: Modificér aldrig historikken

Den mest almindelige fælde i produktion er at justere meddelelseshistorikken mellem anmodninger. Omformatering af en tidligere besked, ændring af rækkefølgen på turene, indsættelse af en aktuel dato eller sessions-ID i system-prompten: hver af disse handlinger, der virker harmløse, ugyldiggør cachen fra ændringspunktet og fremefter. Det mest udbredte tilfælde kan beskrives i én enkelt kodelinje:

# DÅRLIGT: tidsstempel i system-prompt
messages = [
    {"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
    # ...
]

Dette tidsstempel ændrer sig ved hvert kald. Da det sidder i den allerførste besked, fejler præfiks-matchningen på det første token, og hele prompten faktureres til standardtaksten, gang efter gang. Hvis din model reelt har brug for at kende datoen, skal du placere den i den sidste brugerbesked, hvor det kun koster et par dusin uncached tokens.

Den korrekte version af samme prompt holder en strengt fast overskrift, en historik, der kun vokser (append-only), og samler al nyhed i slutningen:

# GODT: statisk indhold først, variabler til sidst
messages = [
    {"role": "system", "content": "You are a customer support specialist assistant."},
    # UÆNDRET samtalehistorik
    {"role": "user", "content": "Previous question..."},
    {"role": "assistant", "content": "Previous response..."},
    # Kun den sidste besked er ny
    {"role": "user", "content": "User's new question"}
]

En prompt-arkitektur, der cacher godt

Princippet kan opsummeres i én sætning: fra mest stabil til mest variabel. Konkret følger fire lag i denne rækkefølge.

  1. System-prompt (stabil): generelle instrukser, persona, regler
  2. Referencekontekst (stabil): dokumentation, vidensbase
  3. Samtalehistorik (inkrementel): kun tilføjelser, aldrig ændringer
  4. Aktuel besked (variabel): brugerens nye anmodning

Med denne opsætning havner lag 1 til 3 i cachen, og kun lag 4 faktureres til standardtaksten. På en applikation, hvor system-prompten og repositoryet vejer 8.000 tokens, faktureres et brugerspørgsmål på 60 tokens kun for disse 60 tokens til fuld pris.

Denne logik gælder også for mindre åbenlyse tilfælde. Hvis din applikation afhænger af en lang referencekontekst – produktdokumentation, FAQ, tekniske specifikationer – skal du placere den lige efter system-prompten: den vil blive cached fra den anden anmodning i hver samtale og fremefter. Og i modsætning til almindelig antagelse er fordelen ikke begrænset til én enkelt session: to forskellige samtaler, der deler samme præfiks, samme system-prompt og samme referencekontekst, cacher hinanden. I en multi-bruger-applikation med en fælles prompt drager hver bruger fordel af de andres trafik, hvilket gør en lang, stabil system-prompt langt mindre bekostelig, end den ser ud til.

Refleksen, der ødelægger alt: Afkortning af historikken

Når en samtale bliver længere og nærmer sig kontekstgrænsen, er instinktet at klippe de tidligste beskeder væk. Det er præcis det, du ikke må gøre: ved at fjerne begyndelsen flytter du alt andet og ødelægger præfiks-matchningen. Du sparer et par tusind tokens og betaler halvtreds tusind tilbage til fuld pris. Foretræk sammenfatning, som kondenserer gamle udvekslinger til en omskrevet system-prompt én gang, mens de seneste beskeder holdes intakte:

# I stedet for at afkorte historikken:
# messages = messages[-10:]  # DÅRLIGT: bryder cachen

# Sammenfat gamle beskeder i system-prompten:
messages = [
    {"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
    # Seneste beskeder uændrede
    {"role": "user", "content": "..."},
    {"role": "assistant", "content": "..."},
    {"role": "user", "content": "New question"}
]

Mål og forbedr

Følg den daglige cache-hit-rate som en produktionsmetrik i sin egen ret, ligesom en fejlrate. Her er hvordan du fortolker den værdi, du observerer.

Cache-rateFortolkning
Mindre end 30 %Dårligt strukturerede prompts eller variable elementer i starten af sekvensen
30 til 60 %Acceptabelt for korte samtaler, kan forbedres med en længere, stabil system-prompt
Mere end 60 %Godt resultat, typisk for velstrukturerede prompts
Mere end 80 %Fremragende, besparelserne er betydelige

Værdien af denne sporing er først og fremmest differentielt. En stabil værdi på 65 %, der falder til 20 % over natten, peger på en fejlbehæftet implementering inden for få timer: i næsten alle tilfælde er en variabel netop blevet introduceret i hovedet af prompten. Test det selv på din nuværende applikation – tag gennemsnitsraten over hundrede anmodninger, flyt et variabelt element til slutningen af prompten, og sammenlign.

Vigtige pointer

  • Cachen fungerer via præfiks-matchning: modificér aldrig tokens i starten af prompten
  • Strukturér dine prompts fra mest stabil til mest variabel
  • Tilføj aldrig variable data (tidsstempler, ID’er) i system-prompten
  • Foretræk sammenfatning frem for afkortning for at bevare cachen ved lange samtaler
  • Overvåg din daglige cache-hit-rate som en finansiel ydeevnemetrik