Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Predpomnenje z x-grok-conv-id in časovna omejitev za sklepanje

Lekcija 11 od 12 Posodobljeno 30. julij 2026 Napredni
Na tej strani
  1. Optimizacija stroškov s predpomnenjem
  2. Glava x-grok-conv-id
  3. Časovna omejitev 3600 sekund za sklepanje
  4. Opomba o grok-4.5 in sklepanju
  5. Preveri vpliv predpomnenja
  6. Ključne ugotovitve

Optimizacija stroškov s predpomnenjem

Vsaka zahteva, poslana API-ju xAI, se zaračuna po standardni ceni žetonov. Ko pa pošlješ več povezanih zahtev (isti pogovor, ista tema), se del konteksta ponavlja. Glava x-grok-conv-id omogoča xAI, da prepozna te povezane zahteve in poveča stopnjo zadetkov v predpomnilniku, s čimer zmanjša tvoje stroške.

Glava x-grok-conv-id

Če želiš omogočiti predpomnenje pogovorov, dodaj glavo po meri z edinstvenim UUID v4 za vsak pogovor:

import uuid

conversation_id = str(uuid.uuid4())

# Z OpenAI SDK
response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}],
    extra_headers={
        "x-grok-conv-id": conversation_id
    }
)

Vse zahteve, ki si delijo isti x-grok-conv-id, imajo korist od izboljšane stopnje zadetkov v predpomnilniku. Predpomnjeni žetoni se zaračunajo po nižji stopnji v primerjavi s standardnimi žetoni.

Pravila uporabe

  • Ustvari nov UUID za vsak pogovor ali logično sejo.
  • Ponovno uporabi isti UUID za vse zahteve znotraj istega pogovora.
  • Ne ponovno uporabi UUID-ja med različnimi pogovori (to poslabša predpomnenje).
# Vzorec za klepetalnega bota
class ConversationManager:
    def __init__(self):
        self.conv_id = str(uuid.uuid4())
        self.messages = []

    async def send(self, user_message: str) -> str:
        self.messages.append({"role": "user", "content": user_message})

        response = await client.chat.completions.create(
            model="grok-4.5",
            messages=self.messages,
            extra_headers={"x-grok-conv-id": self.conv_id}
        )

        assistant_message = response.choices[0].message.content
        self.messages.append({"role": "assistant", "content": assistant_message})
        return assistant_message

Časovna omejitev 3600 sekund za sklepanje

Modeli za sklepanje (grok-4.20-0309-reasoning in podobni) izvedejo notranje sklepanje, preden odgovorijo. To sklepanje lahko pri kompleksnih problemih traja več minut. Privzeta časovna omejitev za večino odjemalcev HTTP (30–120 sekund) ni zadostna.

# Pravilna konfiguracija za sklepanje
from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(
        connect=10.0,     # hitra povezava
        read=3600.0,      # 1 ura za branje
        write=30.0,       # pošiljanje poziva
        pool=10.0         # čakanje na povezavo
    )
)

read=3600.0 je ključna vrednost. To je največji zamik med trenutkom, ko strežnik začne obdelovati tvojo zahtevo, in trenutkom, ko prejmeš odgovor. Za model za sklepanje, ki sklepa 5 minut, potrebuješ to rezervo.

Kdaj zmanjšati časovno omejitev

Časovna omejitev 3600 sekund ni vedno potrebna:

  • grok-4.5 (brez sklepanja): časovna omejitev 120–300 sekund je običajno zadostna.
  • Preproste zahteve: tudi pri modelu za sklepanje kratka vprašanja prejmejo odgovor v manj kot minuti.
  • Testno okolje: časovna omejitev 60 sekund ti omogoča hitro odkrivanje težav.
# Odjemalec za hitre zahteve
fast_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(120.0)
)

# Odjemalec za kompleksno sklepanje
reasoning_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Uporaba dveh odjemalcev z različnimi časovnimi omejitvami je v proizvodnem okolju pogost vzorec.

Opomba o grok-4.5 in sklepanju

Model grok-4.5 ne vrne polja reasoning_content v navadnem besedilu v odgovoru. Notranje sklepanje se izvede, vendar ostane neprozorno. Če potrebuješ vpogled v proces sklepanja, uporabi use_encrypted_content=True, da ga ohraniš med zahtevami, ne da bi ga lahko prebral, ali pa uporabi grok-4.20-0309-reasoning, ki razkrije več svojega procesa.

Preveri vpliv predpomnenja

Za merjenje učinkovitosti predpomnilnika primerjaj polje usage med zahtevami z x-grok-conv-id in brez njega:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=messages,
    extra_headers={"x-grok-conv-id": conv_id}
)

usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
    cached = usage.prompt_tokens_details.cached_tokens
    total = usage.prompt_tokens
    print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")

Visoka stopnja zadetkov v predpomnilniku pomeni, da se tvoji kontekstni žetoni ponovno uporabijo namesto ponovne obdelave, kar neposredno zmanjša tvoj račun.

Ključne ugotovitve

  • x-grok-conv-id z UUID v4 omogoča predpomnenje pogovorov za povezane zahteve.
  • Predpomnjeni žetoni se zaračunajo po nižji stopnji.
  • Za modele za sklepanje je potrebna časovna omejitev 3600 sekund.
  • Uporabi ločene odjemalce za hitre zahteve in zahteve za sklepanje.
  • grok-4.5 ne vrne reasoning_content v navadnem besedilu.
  • Spremljaj stopnjo zadetkov v predpomnilniku v usage.prompt_tokens_details, da potrdiš optimizacijo.