Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Automatisk API-cache

Lektion 9 av 14 Uppdaterad 29 juli 2026 Avancerad
På denna sida
  1. Cachen som en hävstång för kostnadsbesparingar
  2. Hur cachen fungerar
  3. Headern x-grok-conv-id
  4. Kontrollera cache-effektiviteten
  5. Viktiga punkter

Cachen som en hävstång för kostnadsbesparingar

Automatisk cache har störst påverkan på din faktura, till det bättre eller sämre. Hos många leverantörer måste du deklarera den explicit i begäran, markera de block som ska behållas och hantera deras livslängd. xAI har valt en annan väg: cachen appliceras automatiskt på alla begäranden, utan parametrar eller annoteringar. Du behöver inte aktivera något, men du har allt att vinna på att förstå vad som utlöser den, eftersom en dåligt strukturerad prompt aldrig gynnas och betalar fullt pris för hela sin inmatning.

5–7×
Billigare vid cachad inmatning
$0.20
Per M cachat på grok-4.3
UUID
Header x-grok-conv-id
Auto
Aktivering utan konfiguration

Hur cachen fungerar

Cachen opererar endast på inmatningstokens: generering av svar debiteras alltid till standardpriset. När början av din prompt exakt reproducerar början av en tidigare bearbetad prompt, levereras den identiska delen från cachen till det reducerade priset, och endast den nya delen debiteras till standardpriset.

Tre tillämpningsfamiljer gynnas omedelbart. För det första en konversation: systemprompten och alla tidigare turer är strikt identiska från ett anrop till nästa, endast den sista frågan ändras, så cache-andelen stiger naturligt när utbytet förlängs. Därefter en prompt med fast kontext – ett kontrakt, en teknisk manual, ett produktregister följt av en variabel fråga – där dokumentblocket cachas från och med det andra anropet. Slutligen behåller en RAG-pipeline konstanta systeminstruktioner; endast den hämtade kontexten ändras, och om du placerar den efter instruktionerna förblir prefixet cachebart.

På xAI:s prislista är skillnaden betydande. På grok-4.3 och grok-4.20-0309 kostar en miljon cachade inmatningstokens $0.20 jämfört med $1.25 till standardpriset. På grok-4.5 landar samma miljon på $0.30 istället för $2.00. Med andra ord kostar ett stabilt prefix på 5 000 tokens som återanvänds tusen gånger om dagen fem till sju gånger mindre än en prompt som återskapas vid varje anrop – för ett strikt identiskt resultat.

Headern x-grok-conv-id

För att hjälpa infrastrukturen att koppla ihop begäranden som hör ihop accepterar API:et en dedikerad header:

curl -X POST "https://api.x.ai/v1/chat/completions" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20",
    "messages": [...]
  }'

Headern x-grok-conv-id förväntar sig ett UUID v4. Användningsregeln är enkel: ett identifierare per konversation eller bearbetningsflöde, återanvänd för alla anrop som ingår i det. Detta signalerar att dessa begäranden är länkade, vilket ökar sannolikheten för cache-återanvändning. Det vanliga misstaget är att generera UUID:et vid anropstillfället snarare än vid sessionsöppning – då får varje tur ett annat identifierare och fördelen försvinner. Generera det en gång, lagra det tillsammans med konversationstillståndet:

import uuid

# Ett UUID per konversation
conv_id = str(uuid.uuid4())

# Använd samma UUID för alla turer i konversationen
headers = {
    "Authorization": f"Bearer {api_key}",
    "x-grok-conv-id": conv_id,
    "Content-Type": "application/json"
}

Kontrollera cache-effektiviteten

Inget slår mätning. Fältet cached_tokens i objektet usage, som behandlades i föregående lektion, berättar exakt vad som levererades från cachen:

{
  "usage": {
    "prompt_tokens": 5000,
    "cached_tokens": 4200,
    "completion_tokens": 300
  }
}

Här kommer 4 200 tokens av 5 000 från cachen, en andel på 84 %; endast 800 tokens debiterades till standardpriset. Gör det till en vana att kontrollera denna kvot på ett urval av verkliga begäranden efter varje distribution: om du ser en andel nära noll i en konversationsapplikation varierar något i början av prompten, och nästa lektion visar dig vad.

Viktiga punkter

  • Cachen är automatisk: ingen konfiguration krävs
  • Använd headern x-grok-conv-id med ett UUID v4 för att gruppera länkade begäranden
  • Fältet cached_tokens i objektet usage anger antalet tokens som levererats från cachen
  • Cachad inmatning kostar 5 till 7 gånger mindre: $0.20/M på grok-4.3, $0.30/M på grok-4.5
  • Ju stabilare din prompt är i början av sekvensen, desto högre blir cache-andelen