Ukladanie do vyrovnávacej pamäte pomocou x-grok-conv-id a časový limit pre usudzovanie
Na tejto strane
Optimalizácia nákladov pomocou ukladania do vyrovnávacej pamäte
Za každú požiadavku odoslanú na API xAI sa účtuje štandardná cena za token. Keď však odosielaš viacero súvisiacich požiadaviek (rovnaká konverzácia, rovnaká téma), časť kontextu sa opakuje. Hlavička x-grok-conv-id umožňuje systému xAI identifikovať tieto súvisiace požiadavky a zvýšiť mieru zásahu do vyrovnávacej pamäte (cache hit rate), čím znížiš svoje náklady.
Hlavička x-grok-conv-id
Ak chceš povoliť ukladanie konverzácií do vyrovnávacej pamäte, pridaj vlastnú hlavičku s jedinečným UUID v4 pre každú konverzáciu:
import uuid
conversation_id = str(uuid.uuid4())
# S OpenAI SDK
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={
"x-grok-conv-id": conversation_id
}
)
Všetky požiadavky zdieľajúce rovnaké x-grok-conv-id profitujú zo zvýšenej miery zásahu do vyrovnávacej pamäte. Za tokeny uložené vo vyrovnávacej pamäti sa účtuje znížená sadzba v porovnaní so štandardnými tokenmi.
Pravidlá používania
- Generuj nové UUID pre každú konverzáciu alebo logickú reláciu.
- Opakovane používaj rovnaké UUID pre všetky požiadavky v rámci tej istej konverzácie.
- Nepoužívaj rovnaké UUID naprieč rôznymi konverzáciami (toto zhoršuje efektivitu ukladania do vyrovnávacej pamäte).
# Vzorec pre chatbota
class ConversationManager:
def __init__(self):
self.conv_id = str(uuid.uuid4())
self.messages = []
async def send(self, user_message: str) -> str:
self.messages.append({"role": "user", "content": user_message})
response = await client.chat.completions.create(
model="grok-4.5",
messages=self.messages,
extra_headers={"x-grok-conv-id": self.conv_id}
)
assistant_message = response.choices[0].message.content
self.messages.append({"role": "assistant", "content": assistant_message})
return assistant_message
Časový limit 3600 sekúnd pre usudzovanie
Modely pre usudzovanie (grok-4.20-0309-reasoning a podobné) vykonávajú pred odpoveďou interné usudzovanie. Pri zložitých problémoch môže toto usudzovanie trvať niekoľko minút. Predvolený časový limit pre väčšinu HTTP klientov (30 – 120 sekúnd) je nedostatočný.
# Správna konfigurácia pre usudzovanie
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(
connect=10.0, # rýchle pripojenie
read=3600.0, # 1 hodina na čítanie
write=30.0, # odoslanie promptu
pool=10.0 # čakanie na pripojenie
)
)
Hodnota read=3600.0 je kľúčová. Predstavuje maximálne oneskorenie medzi momentom, keď server začne spracovávať tvoju požiadavku, a momentom, keď dostaneš odpoveď. Pre model usudzovania, ktorý usudzuje 5 minút, potrebuješ túto rezervu.
Kedy znížiť časový limit
Časový limit 3600 sekúnd nie je vždy potrebný:
- grok-4.5 (bez usudzovania): časový limit 120 – 300 sekúnd je zvyčajne dostatočný.
- Jednoduché požiadavky: aj pri modeli usudzovania krátke otázky dostanú odpoveď do jednej minúty.
- Testovacie prostredie: časový limit 60 sekúnd ti umožní rýchlo odhaliť problémy.
# Klient pre rýchle požiadavky
fast_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(120.0)
)
# Klient pre komplexné usudzovanie
reasoning_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Používanie dvoch klientov s rôznymi časovými limitmi je bežným vzorcom v produkčnom prostredí.
Poznámka k modelu grok-4.5 a usudzovaniu
Model grok-4.5 nevracia pole reasoning_content v odpovedi ako čistý text. Interné usudzovanie prebieha, ale zostáva nepriehľadné. Ak potrebuješ vidieť proces usudzovania, použi use_encrypted_content=True, aby sa zachoval medzi požiadavkami bez možnosti jeho čítania, alebo použij model grok-4.20-0309-reasoning, ktorý odhaľuje viac zo svojho procesu.
Kontrola vplyvu vyrovnávacej pamäte
Na zmeranie efektivity vyrovnávacej pamäte porovnaj pole usage medzi požiadavkami s hlavičkou x-grok-conv-id a bez nej:
response = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
extra_headers={"x-grok-conv-id": conv_id}
)
usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
cached = usage.prompt_tokens_details.cached_tokens
total = usage.prompt_tokens
print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")
Vysoká miera zásahu do vyrovnávacej pamäte znamená, že sa tvoje kontextové tokeny opätovne využívajú namiesto opätovného spracovania, čo priamo znižuje tvoju faktúru.
Kľúčové poznatky
x-grok-conv-ids UUID v4 povoľuje ukladanie konverzácií do vyrovnávacej pamäte pre súvisiace požiadavky.- Za tokeny uložené vo vyrovnávacej pamäti sa účtuje znížená sadzba.
- Pre modely usudzovania je nevyhnutný časový limit 3600 sekúnd.
- Používaj samostatných klientov pre rýchle požiadavky a požiadavky na usudzovanie.
- Model
grok-4.5nevraciareasoning_contentv čistom texte. - Sleduj mieru zásahu do vyrovnávacej pamäte v
usage.prompt_tokens_details, aby si overil optimalizáciu.