Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Automatická mezipaměť API

Lekce 9 z 14 Aktualizováno 29. července 2026 Pokročilý
Na této stránce
  1. Mezipaměť jako páka pro snížení nákladů
  2. Jak mezipaměť funguje
  3. Hlavička x-grok-conv-id
  4. Kontrola efektivity mezipaměti
  5. Klíčové poznatky

Mezipaměť jako páka pro snížení nákladů

Automatická mezipaměť má největší dopad na vaši fakturu, k lepšímu i horšímu. U mnoha poskytovatelů ji musíte v požadavku explicitně deklarovat, označit bloky k uložení a spravovat jejich životnost. xAI zvolilo odlišný přístup: mezipaměť se aplikuje automaticky na všechny požadavky bez jakýchkoli parametrů či anotací. Nemusíte nic aktivovat, ale máte vše k tomu, abyste pochopili, co ji spouští, protože špatně strukturovaný prompt z ní nemá žádný užitek a platíte plnou cenu za celý vstup.

5–7×
Levnější u vstupů z mezipaměti
$0.20
Za 1 M tokenů v mezipaměti na grok-4.3
UUID
Hlavička x-grok-conv-id
Auto
Aktivace bez konfigurace

Jak mezipaměť funguje

Mezipaměť operuje pouze na vstupních tokenech a jen na nich: generování odpovědí je vždy účtováno standardní sazbou. Když začátek vašeho promptu přesně odpovídá začátku dříve zpracovaného promptu, je identická část obsloužena z mezipaměti za sníženou sazbu a pouze nová část je účtována standardně.

Tři rodiny aplikací z toho těží okamžitě. Zaprvé konverzace: systémový prompt a všechny předchozí obraty jsou od jednoho volání k druhému rigorózně identické, mění se pouze poslední otázka, takže míra využití mezipaměti přirozeně roste s délkou výměny. Zadruhé prompt s pevným kontextem – smlouva, technický manuál, repozitář produktu následovaný variabilní otázkou – vidí svůj blok dokumentu uložený v mezipaměti od druhého volání dál. Zatřetí pipeline RAG udržuje konstantní systémové instrukce; mění se pouze získaný kontext, a pokud jej umístíte za instrukce, prefix zůstává vhodný pro ukládání do mezipaměti.

Na ceníku xAI je rozdíl značný. U modelů grok-4.3 a grok-4.20-0309 stojí jeden milion vstupních tokenů z mezipaměti 0,20 $ oproti 1,25 $ při standardní sazbě. U grok-4.5 přijde stejný milion na 0,30 $ místo 2,00 $. Jinými slovy, stabilní prefix o 5 000 tokenech znovu použitý tisíckrát denně vás stojí pětkrát až sedmkrát méně než prompt rekonstruovaný při každém volání – pro striktně identický výsledek.

Hlavička x-grok-conv-id

Aby infrastruktura mohla snadněji přiřadit požadavky, které k sobě patří, API akceptuje vyhrazenou hlavičku:

curl -X POST "https://api.x.ai/v1/chat/completions" \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "x-grok-conv-id: 550e8400-e29b-41d4-a716-446655440000" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "grok-4.20",
    "messages": [...]
  }'

Hlavička x-grok-conv-id očekává UUID v4. Pravidlo použití je jednoduché: jeden identifikátor na konverzaci nebo zpracovatelský tok, znovu použitý pro všechna volání, která jsou jeho součástí. Tím signalizujete, že tyto požadavky jsou propojeny, což zvyšuje pravděpodobnost opětovného využití mezipaměti. Častou chybou je generování UUID v době volání místo při otevření relace – každý obrat pak obdrží jiný identifikátor a přínos zmizí. Vygenerujte jej jednou a uložte spolu se stavem konverzace:

import uuid

# Jedno UUID na konverzaci
conv_id = str(uuid.uuid4())

# Použijte stejné UUID pro všechny obraty v konverzaci
headers = {
    "Authorization": f"Bearer {api_key}",
    "x-grok-conv-id": conv_id,
    "Content-Type": "application/json"
}

Kontrola efektivity mezipaměti

Nic nenahradí měření. Pole cached_tokens v objektu usage, které jsme probírali v předchozí lekci, vám přesně řekne, co bylo obslouženo z mezipaměti:

{
  "usage": {
    "prompt_tokens": 5000,
    "cached_tokens": 4200,
    "completion_tokens": 300
  }
}

Zde 4 200 tokenů z 5 000 pochází z mezipaměti, což je míra 84 %; pouze 800 tokenů bylo účtováno standardní sazbou. Zvykněte si kontrolovat tento poměr na vzorku reálných požadavků po každém nasazení: pokud vidíte míru blízkou nule u konverzační aplikace, něco se mění na začátku promptu a příští lekce vám ukáže co.

Klíčové poznatky

  • Mezipaměť je automatická: není nutná žádná konfigurace
  • Použijte hlavičku x-grok-conv-id s UUID v4 pro seskupení propojených požadavků
  • Pole cached_tokens v objektu usage udává počet tokenů obsloužených z mezipaměti
  • Vstup z mezipaměti stojí 5 až 7krát méně: 0,20 $/M na grok-4.3, 0,30 $/M na grok-4.5
  • Čím stabilnější je váš prompt na začátku sekvence, tím vyšší bude míra využití mezipaměti