Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Il-Cache tal-Header x-grok-conv-id u l-Timeout tar-Raġunar

Lezzjoni 11 / 12 Aġġornat 30 ta’ Lulju 2026 Avvanzat
F'din il-paġna
  1. Ottimizza l-Ispejjeż bil-Caching
  2. L-Header x-grok-conv-id
  3. Timeout ta’ 3600 Sekonda għar-Raġunar
  4. Nota dwar grok-4.5 u r-Raġunar
  5. Iċċekkja l-Impatt tal-Cache
  6. Punti Ewlenin

Ottimizza l-Ispejjeż bil-Caching

Kull talba mibgħuta lill-API ta’ xAI tiġi fatturata skont il-prezz standard tat-token. Madankollu, meta tibgħat talbiet multipli relatati (l-istess konversazzjoni, l-istess suġġett), parti mill-kuntest tirrepeti ruħha. L-header x-grok-conv-id jippermetti lil xAI jidentifika dawn it-talbiet relatati u jżid ir-rata ta’ suċċess tal-cache (cache hit rate), u b’hekk inaqqas l-ispejjeż tiegħek.

L-Header x-grok-conv-id

Biex tattivaw il-caching konversazzjonali, żid header personalizzat b’UUID v4 uniku għal kull konversazzjoni:

import uuid

conversation_id = str(uuid.uuid4())

# Mal-SDK ta' OpenAI
response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}],
    extra_headers={
        "x-grok-conv-id": conversation_id
    }
)

It-talbiet kollha li jaqsmu l-istess x-grok-conv-id jibbenefikaw minn rata ta’ suċċess tal-cache mtejba. It-tokens fil-cache jiġu fatturati b’rata mnaqqsa meta mqabbla mat-tokens standard.

Regoli tal-Użu

  • Iġġenera UUID ġdid għal kull konversazzjoni jew sessjoni loġika
  • Uża mill-ġdid l-istess UUID għat-talbiet kollha fi ħdan l-istess konversazzjoni
  • Terġax tuża UUID fuq konversazzjonijiet differenti (dan jiddeterjora l-caching)
# Mudell għal chatbot
class ConversationManager:
    def __init__(self):
        self.conv_id = str(uuid.uuid4())
        self.messages = []

    async def send(self, user_message: str) -> str:
        self.messages.append({"role": "user", "content": user_message})

        response = await client.chat.completions.create(
            model="grok-4.5",
            messages=self.messages,
            extra_headers={"x-grok-conv-id": self.conv_id}
        )

        assistant_message = response.choices[0].message.content
        self.messages.append({"role": "assistant", "content": assistant_message})
        return assistant_message

Timeout ta’ 3600 Sekonda għar-Raġunar

Il-mudelli tar-raġunar (grok-4.20-0309-reasoning u simili) iwettqu raġunar intern qabel ma jwieġbu. Dan ir-raġunar jista’ jieħu diversi minuti għal problemi kumplessi. Il-timeout default għall-biċċa l-kbira tal-klijenti HTTP (30-120 sekonda) mhux biżżejjed.

# Konfigurazzjoni korretta għar-raġunar
from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(
        connect=10.0,     # konnessjoni mgħaġġla
        read=3600.0,      # siegħa għall-qari
        write=30.0,       # sottomissjoni tal-prompt
        pool=10.0         # stennija tal-konnessjoni
    )
)

read=3600.0 huwa l-valur kritiku. Dan huwa l-aktar dewmien massimu bejn il-mument li s-server jibda jipproċessa t-talba tiegħek u meta tirċievi r-risposta. Għal mudell tar-raġunar li jraġġuna għal 5 minuti, għandek bżonn dan il-marġni.

Meta Tnaqqas il-Timeout

Il-timeout ta’ 3600 sekonda mhux dejjem meħtieġ:

  • grok-4.5 (mhux raġunar): timeout ta’ 120-300 sekonda ġeneralment huwa biżżejjed
  • Talbiet sempliċi: anke b’mudell tar-raġunar, mistoqsijiet qosra jwieġbu f’anqas minn minuta
  • Ambjent ta’ test: timeout ta’ 60 sekonda jippermettilek tiskopri problemi malajr
# Klijent għal talbiet mgħaġġla
fast_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(120.0)
)

# Klijent għal raġunar kumpless
reasoning_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

L-użu ta’ żewġ klijenti b’timeouts differenti huwa mudell komuni fil-produzzjoni.

Nota dwar grok-4.5 u r-Raġunar

Il-mudell grok-4.5 ma jirritornax il-qasam reasoning_content b’test ċar (plaintext) fir-risposta. Ir-raġunar intern isir iżda jibqa’ opaku. Jekk għandek bżonn tara l-proċess tar-raġunar, uża use_encrypted_content=True biex tippreżervah bejn it-talbiet mingħajr ma tkun tista’ taqrah, jew grok-4.20-0309-reasoning, li jesponi aktar mill-proċess tiegħu.

Iċċekkja l-Impatt tal-Cache

Biex tkejjel l-effiċjenza tal-cache, qabbel il-qasam usage bejn talbiet bi u mingħajr x-grok-conv-id:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=messages,
    extra_headers={"x-grok-conv-id": conv_id}
)

usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
    cached = usage.prompt_tokens_details.cached_tokens
    total = usage.prompt_tokens
    print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")

Rata għolja ta’ suċċess tal-cache tfisser li t-tokens tal-kuntest tiegħek qed jerġgħu jintużaw minflok ma jiġu pproċessati mill-ġdid, li tonqos direttament il-fattura tiegħek.

Punti Ewlenin

  • x-grok-conv-id b’UUID v4 jattivaw il-caching konversazzjonali għal talbiet relatati
  • It-tokens fil-cache jiġu fatturati b’rata mnaqqsa
  • Timeout ta’ 3600 sekonda huwa meħtieġ għal mudelli tar-raġunar
  • Uża klijenti separati għal talbiet mgħaġġla u talbiet tar-raġunar
  • grok-4.5 ma jirritornax reasoning_content b’test ċar
  • Immonitorja r-rata ta’ suċċess tal-cache f’usage.prompt_tokens_details biex tivvalida l-ottimizzazzjoni