Optimera träffsäkerheten för cachen
På denna sida
Strukturera dina prompts för cachelagring
Grok API:s cache fungerar via prefixmatchning. Token cachelagras i ordning, från första till sista, och matchningen stoppar vid första tecknet som skiljer sig. Konsekvensen är allvarlig: ändrar du ett token mitt i din prompt förlorar allt efter detta sin cache, även om resten är ord för ord identisk. En tjugoteckens tidsstämpel i början av en prompt räcker för att utlösa fullt pris för de 50 000 token som följer. Att strukturera dina prompts är inte ingenjörsmässig fåfänga – det är skillnaden mellan en faktura på 200 dollar och en på 1 000 dollar för samma tjänst.
Den gyllene regeln: Ändra inte historiken
Det vanligaste misstaget i produktion är att justera meddelandehistoriken mellan förfrågningar. Att formatera om ett tidigare meddelande, byta ordning på turerna, eller infoga ett aktuellt datum eller sessions-ID i systemprompten: var och en av dessa till synes harmlösa åtgärder ogiltigförklarar cachen från ändringspunkten och framåt. Det vanligaste fallet ryms i en enda kodrad:
# DÅLIGT: tidsstämpel i systemprompt
messages = [
{"role": "system", "content": f"Date: {datetime.now()}. You are an assistant."},
# ...
]
Denna tidsstämpel ändras vid varje anrop. Eftersom den sitter i det allra första meddelandet misslyckas prefixmatchningen på första token, och hela prompten debiteras till standardpris, gång efter gång. Om din modell verkligen behöver känna till datumet placerar du det i det sista användarmeddelandet, där det bara kostar några dussin uncachade token.
Den korrekta versionen av samma prompt behåller en strikt fixerad header, en historik som bara växer (append-only), och koncentrerar allt nytt innehåll till slutet:
# BRA: statiskt innehåll först, variabler sist
messages = [
{"role": "system", "content": "You are a customer support specialist assistant."},
# OFÖRÄNDRAD konversationshistorik
{"role": "user", "content": "Previous question..."},
{"role": "assistant", "content": "Previous response..."},
# Endast det sista meddelandet är nytt
{"role": "user", "content": "User's new question"}
]
En promptarkitektur som cachelagras väl
Principen ryms i en mening: från mest stabil till mest variabel. Konkret följer fyra lager i denna ordning.
- Systemprompt (stabil): generella instruktioner, persona, regler
- Referenskontext (stabil): dokumentation, kunskapsbas
- Konversationshistorik (inkrementell): bara tillägg, aldrig modifiering
- Aktuellt meddelande (variabelt): användarens nya förfrågan
Med denna ordning hamnar lager 1 till 3 i cachen, och endast lager 4 debiteras till standardpris. I en applikation där systemprompten och kodbasen väger 8 000 token debiteras en användarfråga på 60 token endast för dessa 60 token till fullt pris.
Denna logik sträcker sig även till mindre uppenbara fall. Om din applikation förlitar sig på en lång referenskontext – produktdokumentation, FAQ, tekniska specifikationer – placera den direkt efter systemprompten: den kommer att cachelagras från den andra förfrågan i varje konversation och framåt. Och tvärtemot vad många tror är fördelen inte begränsad till en enda session: två distinkta konversationer som delar samma prefix, samma systemprompt och samma referenskontext, cachelagrar varandra. I en fleranvändarapplikation med en gemensam prompt drar varje användare nytta av de andras trafik, vilket gör en lång, stabil systemprompt betydligt billigare än den verkar vid första anblicken.
Reflexen som förstör allt: att trunkera historiken
När en konversation blir längre och närmar sig kontextgränsen är instinkten att klippa bort de tidigaste meddelandena. Det är exakt vad du inte får göra: genom att ta bort början förskjuter du allt annat och förstör prefixmatchningen. Du sparar några tusen token men betalar tillbaka femtio tusen till fullt pris. Föredra sammanfattning, som kondenserar gamla utbyten till en omskriven systemprompt en gång, medan de senaste meddelandena lämnas intakta:
# Istället för att trunkera historiken:
# messages = messages[-10:] # DÅLIGT: bryter cachen
# Sammanfatta gamla meddelanden i systemprompten:
messages = [
{"role": "system", "content": "Instructions... Summary of previous exchanges: ..."},
# Senaste meddelandena oförändrade
{"role": "user", "content": "..."},
{"role": "assistant", "content": "..."},
{"role": "user", "content": "New question"}
]
Mät och förbättra
Spåra den dagliga träffsäkerheten för cachen som en egen produktionsmetrik, precis som en felrate. Så här tolkar du värdet du observerar.
| Cachefrekvens | Tolkning |
|---|---|
| Mindre än 30 % | Dåligt strukturerade prompts eller variabla element i början av sekvensen |
| 30 till 60 % | Acceptabelt för korta konversationer, kan förbättras med en längre, stabil systemprompt |
| Mer än 60 % | Bra resultat, typiskt för välstrukturerade prompts |
| Mer än 80 % | Utmärkt, besparingarna är betydande |
Värdet av denna spårning är främst differentiell. Ett stabilt värde på 65 % som sjunker till 20 % över en natt pekar på en felaktig distribution inom timmar: i nästan alla fall har en variabel just introducerats i början av prompten. Testa själv på din nuvarande applikation – ta genomsnittsvärdet över hundra förfrågningar, flytta ett variabelt element till slutet av prompten och jämför.
Viktiga punkter
- Cachen fungerar via prefixmatchning: ändra aldrig token i början av prompten
- Strukturera dina prompts från mest stabil till mest variabel
- Lägg aldrig till variabla data (tidsstämpel, ID:n) i systemprompten
- Föredra sammanfattning framför trunkering för att bevara cachen vid långa konversationer
- Övervaka din dagliga träffsäkerhet för cachen som en ekonomisk prestandametric