Automatische API-cache
Op deze pagina
Cache als hefboom voor kostenbesparing
Automatische caching heeft de grootste impact op uw factuur, ten goede of ten kwade. Bij veel providers moet u deze expliciet in het verzoek declareren, de te behouden blokken markeren en hun levensduur beheren. xAI heeft voor een andere aanpak gekozen: cache wordt automatisch op alle verzoeken toegepast, zonder parameters of annotaties. U hoeft niets te activeren, maar u heeft er alle baat bij om te begrijpen wat het activeert, want een slecht gestructureerde prompt levert nooit voordeel op en betaalt de volle prijs voor de volledige input.
Hoe de cache werkt
De cache werkt uitsluitend op input-tokens; het genereren van antwoorden wordt altijd tegen het standaardtarief gefactureerd. Wanneer het begin van uw prompt exact overeenkomt met het begin van een eerder verwerkte prompt, wordt het identieke deel uit de cache bediend tegen het verlaagde tarief, en passeert alleen het nieuwe deel tegen het standaardtarief.
Drie toepassingsfamilies profiteren hier direct van. Ten eerste een conversatie: de systeemprompt en alle eerdere beurten zijn van oproep tot oproep strikt identiek, alleen de laatste vraag verandert, waardoor het cache-percentage natuurlijk stijgt naarmate de uitwisseling vordert. Vervolgens een prompt met vaste context—een contract, een technische handleiding, een productrepository gevolgd door een variabele vraag—waarbij het documentblok vanaf de tweede oproep wordt gecachet. Tot slot houdt een RAG-pipeline constante systeeminstructies aan; alleen de opgehaalde context verandert, en als u deze na de instructies plaatst, blijft het prefix cachebaar.
Op het prijsschema van xAI is het verschil aanzienlijk. Op grok-4.3 en grok-4.20-0309 kost één miljoen gecachete input-tokens $0,20 tegenover $1,25 tegen het standaardtarief. Op grok-4.5 komt dezelfde miljoen uit op $0,30 in plaats van $2,00. Anders gezegd: een stabiel prefix van 5.000 tokens dat duizend keer per dag wordt hergebruikt, kost u vijf tot zeven keer minder dan een prompt die bij elke oproep opnieuw wordt opgebouwd—voor een strikt identiek resultaat.
De x-grok-conv-id-header
Om de infrastructuur te helpen verzoeken die bij elkaar horen aan elkaar te koppelen, accepteert de API een speciale header:
curl -X POST "https://api.x.ai/v1/chat/completions" \
-H "Authorization: Bearer $XAI_API_KEY" \
-H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
-H "Content-Type: application/json" \
-d '{
"model": "grok-4.20",
"messages": [...]
}'
De x-grok-conv-id-header verwacht een UUID v4. De gebruiksregel is eenvoudig: één identifier per conversatie of verwerkingsstroom, hergebruikt voor alle oproepen die daar deel van uitmaken. Dit signaleert dat deze verzoeken aan elkaar gerelateerd zijn, wat de kans op hergebruik van de cache vergroot. De veelgemaakte fout is het genereren van de UUID op het moment van de oproep in plaats van bij het openen van de sessie—elke beurt krijgt dan een andere identifier en verdwijnt het voordeel. Genereer deze eenmaal en sla deze op samen met de conversatiestatus:
import uuid
# One UUID per conversation
conv_id = str(uuid.uuid4())
# Use the same UUID for all turns in the conversation
headers = {
"Authorization": f"Bearer {api_key}",
"x-grok-conv-id": conv_id,
"Content-Type": "application/json"
}
Controle van de cache-efficiëntie
Meten is weten. Het veld cached_tokens in het usage-object, behandeld in de vorige les, vertelt u precies wat uit de cache is bediend:
{
"usage": {
"prompt_tokens": 5000,
"cached_tokens": 4200,
"completion_tokens": 300
}
}
Hier komen 4.200 van de 5.000 tokens uit de cache, een percentage van 84%; slechts 800 tokens werden tegen het standaardtarief gefactureerd. Maak er een gewoonte van om deze verhouding na elke implementatie te controleren op een steekproef van echte verzoeken: als u een percentage near zero ziet bij een conversatie-toepassing, varieert er iets aan het begin van de prompt, en de volgende les zal u laten zien wat.
Belangrijkste punten
- Cache is automatisch: geen configuratie nodig
- Gebruik de
x-grok-conv-id-header met een UUID v4 om gerelateerde verzoeken te groeperen - Het veld
cached_tokensin hetusage-object geeft het aantal tokens aan dat uit de cache is bediend - Gecachete input kost 5 tot 7 keer minder: $0,20/M op grok-4.3, $0,30/M op grok-4.5
- Hoe stabieler uw prompt aan het begin van de reeks is, hoe hoger het cache-percentage zal zijn