Međuspremnik x-grok-conv-id i vremensko ograničenje rezoniranja
Na ovoj stranici
Optimiziraj troškove pomoću međuspremnika
Svaki zahtjev poslan xAI API-ju naplaćuje se po standardnoj cijeni tokena. No, kada šalješ više povezanih zahtjeva (isti razgovor, ista tema), dio konteksta se ponavlja. Zaglavlje x-grok-conv-id omogućuje xAI-ju da identificira te povezane zahtjeve i poveća stopu pogodaka u međuspremniku (cache hit rate), čime smanjuješ svoje troškove.
Zaglavlje x-grok-conv-id
Za omogućivanje međuspremanja razgovora dodaj prilagođeno zaglavlje s jedinstvenim v4 UUID-om po razgovoru:
import uuid
conversation_id = str(uuid.uuid4())
# With the OpenAI SDK
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={
"x-grok-conv-id": conversation_id
}
)
Svi zahtjevi koji dijele isti x-grok-conv-id imaju korist od poboljšane stope pogodaka u međuspremniku. Tokeni u međuspremniku naplaćuju se po smanjenoj stopi u usporedbi sa standardnim tokenima.
Pravila korištenja
- Generiraj novi UUID za svaki razgovor ili logičku sesiju
- Ponovno upotrijebi isti UUID za sve zahtjeve unutar istog razgovora
- Nemoj ponovno upotrebljavati UUID kroz različite razgovore (to narušava međuspremanje)
# Pattern for a chatbot
class ConversationManager:
def __init__(self):
self.conv_id = str(uuid.uuid4())
self.messages = []
async def send(self, user_message: str) -> str:
self.messages.append({"role": "user", "content": user_message})
response = await client.chat.completions.create(
model="grok-4.5",
messages=self.messages,
extra_headers={"x-grok-conv-id": self.conv_id}
)
assistant_message = response.choices[0].message.content
self.messages.append({"role": "assistant", "content": assistant_message})
return assistant_message
Vremensko ograničenje od 3600 sekundi za rezoniranje
Modeli za rezoniranje (grok-4.20-0309-reasoning i slični) provode interno rezoniranje prije odgovora. To rezoniranje može trajati nekoliko minuta za složene probleme. Zadano vremensko ograničenje za većinu HTTP klijenata (30–120 sekundi) nije dovoljno.
# Correct configuration for reasoning
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(
connect=10.0, # fast connection
read=3600.0, # 1 hour for read
write=30.0, # prompt submission
pool=10.0 # connection wait
)
)
read=3600.0 je ključna vrijednost. To je maksimalno kašnjenje između trenutka kada poslužitelj počne obrađivati tvoj zahtjev i trenutka kada primiš odgovor. Za model za rezoniranje koji rezonira 5 minuta potrebna ti je ta margina.
Kada smanjiti vremensko ograničenje
Vremensko ograničenje od 3600 sekundi nije uvijek potrebno:
- grok-4.5 (bez rezoniranja): vremensko ograničenje od 120–300 sekundi obično je dovoljno
- Jednostavni zahtjevi: čak i s modelom za rezoniranje, kratka pitanja dobivaju odgovor za manje od minute
- Testno okruženje: vremensko ograničenje od 60 sekundi omogućuje brzo otkrivanje problema
# Client for fast requests
fast_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(120.0)
)
# Client for complex reasoning
reasoning_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Korištenje dva klijenta s različitim vremenskim ograničenjima čest je obrazac u proizvodnji.
Napomena o grok-4.5 i rezoniranju
Model grok-4.5 ne vraća polje reasoning_content u običnom tekstu u odgovoru. Interno rezoniranje se provodi, ali ostaje nevidljivo. Ako trebaš vidjeti proces rezoniranja, upotrijebi use_encrypted_content=True da ga sačuvaš između zahtjeva bez mogućnosti čitanja, ili upotrijebi grok-4.20-0309-reasoning, koji više otkriva svoj proces.
Provjeri utjecaj međuspremnika
Za mjerenje učinkovitosti međuspremnika usporedi polje usage između zahtjeva s x-grok-conv-id i bez njega:
response = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
extra_headers={"x-grok-conv-id": conv_id}
)
usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
cached = usage.prompt_tokens_details.cached_tokens
total = usage.prompt_tokens
print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")
Visoka stopa pogodaka u međuspremniku znači da se tvoji tokeni konteksta ponovno upotrebljavaju umjesto da se ponovno obrađuju, što izravno smanjuje tvoj račun.
Ključne točke
x-grok-conv-ids v4 UUID-om omogućuje međuspremanje razgovora za povezane zahtjeve- Tokeni u međuspremniku naplaćuju se po smanjenoj stopi
- Vremensko ograničenje od 3600 sekundi nužno je za modele za rezoniranje
- Upotrijebi zasebne klijente za brze zahtjeve i zahtjeve za rezoniranje
grok-4.5ne vraćareasoning_contentu običnom tekstu- Prati stopu pogodaka u međuspremniku u
usage.prompt_tokens_detailskako bi potvrdio optimizaciju