Predpomnenje z x-grok-conv-id in časovna omejitev za sklepanje
Na tej strani
Optimizacija stroškov s predpomnenjem
Vsaka zahteva, poslana API-ju xAI, se zaračuna po standardni ceni žetonov. Ko pa pošlješ več povezanih zahtev (isti pogovor, ista tema), se del konteksta ponavlja. Glava x-grok-conv-id omogoča xAI, da prepozna te povezane zahteve in poveča stopnjo zadetkov v predpomnilniku, s čimer zmanjša tvoje stroške.
Glava x-grok-conv-id
Če želiš omogočiti predpomnenje pogovorov, dodaj glavo po meri z edinstvenim UUID v4 za vsak pogovor:
import uuid
conversation_id = str(uuid.uuid4())
# Z OpenAI SDK
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={
"x-grok-conv-id": conversation_id
}
)
Vse zahteve, ki si delijo isti x-grok-conv-id, imajo korist od izboljšane stopnje zadetkov v predpomnilniku. Predpomnjeni žetoni se zaračunajo po nižji stopnji v primerjavi s standardnimi žetoni.
Pravila uporabe
- Ustvari nov UUID za vsak pogovor ali logično sejo.
- Ponovno uporabi isti UUID za vse zahteve znotraj istega pogovora.
- Ne ponovno uporabi UUID-ja med različnimi pogovori (to poslabša predpomnenje).
# Vzorec za klepetalnega bota
class ConversationManager:
def __init__(self):
self.conv_id = str(uuid.uuid4())
self.messages = []
async def send(self, user_message: str) -> str:
self.messages.append({"role": "user", "content": user_message})
response = await client.chat.completions.create(
model="grok-4.5",
messages=self.messages,
extra_headers={"x-grok-conv-id": self.conv_id}
)
assistant_message = response.choices[0].message.content
self.messages.append({"role": "assistant", "content": assistant_message})
return assistant_message
Časovna omejitev 3600 sekund za sklepanje
Modeli za sklepanje (grok-4.20-0309-reasoning in podobni) izvedejo notranje sklepanje, preden odgovorijo. To sklepanje lahko pri kompleksnih problemih traja več minut. Privzeta časovna omejitev za večino odjemalcev HTTP (30–120 sekund) ni zadostna.
# Pravilna konfiguracija za sklepanje
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(
connect=10.0, # hitra povezava
read=3600.0, # 1 ura za branje
write=30.0, # pošiljanje poziva
pool=10.0 # čakanje na povezavo
)
)
read=3600.0 je ključna vrednost. To je največji zamik med trenutkom, ko strežnik začne obdelovati tvojo zahtevo, in trenutkom, ko prejmeš odgovor. Za model za sklepanje, ki sklepa 5 minut, potrebuješ to rezervo.
Kdaj zmanjšati časovno omejitev
Časovna omejitev 3600 sekund ni vedno potrebna:
- grok-4.5 (brez sklepanja): časovna omejitev 120–300 sekund je običajno zadostna.
- Preproste zahteve: tudi pri modelu za sklepanje kratka vprašanja prejmejo odgovor v manj kot minuti.
- Testno okolje: časovna omejitev 60 sekund ti omogoča hitro odkrivanje težav.
# Odjemalec za hitre zahteve
fast_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(120.0)
)
# Odjemalec za kompleksno sklepanje
reasoning_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Uporaba dveh odjemalcev z različnimi časovnimi omejitvami je v proizvodnem okolju pogost vzorec.
Opomba o grok-4.5 in sklepanju
Model grok-4.5 ne vrne polja reasoning_content v navadnem besedilu v odgovoru. Notranje sklepanje se izvede, vendar ostane neprozorno. Če potrebuješ vpogled v proces sklepanja, uporabi use_encrypted_content=True, da ga ohraniš med zahtevami, ne da bi ga lahko prebral, ali pa uporabi grok-4.20-0309-reasoning, ki razkrije več svojega procesa.
Preveri vpliv predpomnenja
Za merjenje učinkovitosti predpomnilnika primerjaj polje usage med zahtevami z x-grok-conv-id in brez njega:
response = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
extra_headers={"x-grok-conv-id": conv_id}
)
usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
cached = usage.prompt_tokens_details.cached_tokens
total = usage.prompt_tokens
print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")
Visoka stopnja zadetkov v predpomnilniku pomeni, da se tvoji kontekstni žetoni ponovno uporabijo namesto ponovne obdelave, kar neposredno zmanjša tvoj račun.
Ključne ugotovitve
x-grok-conv-idz UUID v4 omogoča predpomnenje pogovorov za povezane zahteve.- Predpomnjeni žetoni se zaračunajo po nižji stopnji.
- Za modele za sklepanje je potrebna časovna omejitev 3600 sekund.
- Uporabi ločene odjemalce za hitre zahteve in zahteve za sklepanje.
grok-4.5ne vrnereasoning_contentv navadnem besedilu.- Spremljaj stopnjo zadetkov v predpomnilniku v
usage.prompt_tokens_details, da potrdiš optimizacijo.