Il-Cache tal-Header x-grok-conv-id u l-Timeout tar-Raġunar
F'din il-paġna
Ottimizza l-Ispejjeż bil-Caching
Kull talba mibgħuta lill-API ta’ xAI tiġi fatturata skont il-prezz standard tat-token. Madankollu, meta tibgħat talbiet multipli relatati (l-istess konversazzjoni, l-istess suġġett), parti mill-kuntest tirrepeti ruħha. L-header x-grok-conv-id jippermetti lil xAI jidentifika dawn it-talbiet relatati u jżid ir-rata ta’ suċċess tal-cache (cache hit rate), u b’hekk inaqqas l-ispejjeż tiegħek.
L-Header x-grok-conv-id
Biex tattivaw il-caching konversazzjonali, żid header personalizzat b’UUID v4 uniku għal kull konversazzjoni:
import uuid
conversation_id = str(uuid.uuid4())
# Mal-SDK ta' OpenAI
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={
"x-grok-conv-id": conversation_id
}
)
It-talbiet kollha li jaqsmu l-istess x-grok-conv-id jibbenefikaw minn rata ta’ suċċess tal-cache mtejba. It-tokens fil-cache jiġu fatturati b’rata mnaqqsa meta mqabbla mat-tokens standard.
Regoli tal-Użu
- Iġġenera UUID ġdid għal kull konversazzjoni jew sessjoni loġika
- Uża mill-ġdid l-istess UUID għat-talbiet kollha fi ħdan l-istess konversazzjoni
- Terġax tuża UUID fuq konversazzjonijiet differenti (dan jiddeterjora l-caching)
# Mudell għal chatbot
class ConversationManager:
def __init__(self):
self.conv_id = str(uuid.uuid4())
self.messages = []
async def send(self, user_message: str) -> str:
self.messages.append({"role": "user", "content": user_message})
response = await client.chat.completions.create(
model="grok-4.5",
messages=self.messages,
extra_headers={"x-grok-conv-id": self.conv_id}
)
assistant_message = response.choices[0].message.content
self.messages.append({"role": "assistant", "content": assistant_message})
return assistant_message
Timeout ta’ 3600 Sekonda għar-Raġunar
Il-mudelli tar-raġunar (grok-4.20-0309-reasoning u simili) iwettqu raġunar intern qabel ma jwieġbu. Dan ir-raġunar jista’ jieħu diversi minuti għal problemi kumplessi. Il-timeout default għall-biċċa l-kbira tal-klijenti HTTP (30-120 sekonda) mhux biżżejjed.
# Konfigurazzjoni korretta għar-raġunar
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(
connect=10.0, # konnessjoni mgħaġġla
read=3600.0, # siegħa għall-qari
write=30.0, # sottomissjoni tal-prompt
pool=10.0 # stennija tal-konnessjoni
)
)
read=3600.0 huwa l-valur kritiku. Dan huwa l-aktar dewmien massimu bejn il-mument li s-server jibda jipproċessa t-talba tiegħek u meta tirċievi r-risposta. Għal mudell tar-raġunar li jraġġuna għal 5 minuti, għandek bżonn dan il-marġni.
Meta Tnaqqas il-Timeout
Il-timeout ta’ 3600 sekonda mhux dejjem meħtieġ:
- grok-4.5 (mhux raġunar): timeout ta’ 120-300 sekonda ġeneralment huwa biżżejjed
- Talbiet sempliċi: anke b’mudell tar-raġunar, mistoqsijiet qosra jwieġbu f’anqas minn minuta
- Ambjent ta’ test: timeout ta’ 60 sekonda jippermettilek tiskopri problemi malajr
# Klijent għal talbiet mgħaġġla
fast_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(120.0)
)
# Klijent għal raġunar kumpless
reasoning_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
L-użu ta’ żewġ klijenti b’timeouts differenti huwa mudell komuni fil-produzzjoni.
Nota dwar grok-4.5 u r-Raġunar
Il-mudell grok-4.5 ma jirritornax il-qasam reasoning_content b’test ċar (plaintext) fir-risposta. Ir-raġunar intern isir iżda jibqa’ opaku. Jekk għandek bżonn tara l-proċess tar-raġunar, uża use_encrypted_content=True biex tippreżervah bejn it-talbiet mingħajr ma tkun tista’ taqrah, jew grok-4.20-0309-reasoning, li jesponi aktar mill-proċess tiegħu.
Iċċekkja l-Impatt tal-Cache
Biex tkejjel l-effiċjenza tal-cache, qabbel il-qasam usage bejn talbiet bi u mingħajr x-grok-conv-id:
response = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
extra_headers={"x-grok-conv-id": conv_id}
)
usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
cached = usage.prompt_tokens_details.cached_tokens
total = usage.prompt_tokens
print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")
Rata għolja ta’ suċċess tal-cache tfisser li t-tokens tal-kuntest tiegħek qed jerġgħu jintużaw minflok ma jiġu pproċessati mill-ġdid, li tonqos direttament il-fattura tiegħek.
Punti Ewlenin
x-grok-conv-idb’UUID v4 jattivaw il-caching konversazzjonali għal talbiet relatati- It-tokens fil-cache jiġu fatturati b’rata mnaqqsa
- Timeout ta’ 3600 sekonda huwa meħtieġ għal mudelli tar-raġunar
- Uża klijenti separati għal talbiet mgħaġġla u talbiet tar-raġunar
grok-4.5ma jirritornaxreasoning_contentb’test ċar- Immonitorja r-rata ta’ suċċess tal-cache f’
usage.prompt_tokens_detailsbiex tivvalida l-ottimizzazzjoni