Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Međuspremnik x-grok-conv-id i vremensko ograničenje rezoniranja

Lekcija 11 od 12 Ažurirano 30. srpnja 2026. Napredno
Na ovoj stranici
  1. Optimiziraj troškove pomoću međuspremnika
  2. Zaglavlje x-grok-conv-id
  3. Vremensko ograničenje od 3600 sekundi za rezoniranje
  4. Napomena o grok-4.5 i rezoniranju
  5. Provjeri utjecaj međuspremnika
  6. Ključne točke

Optimiziraj troškove pomoću međuspremnika

Svaki zahtjev poslan xAI API-ju naplaćuje se po standardnoj cijeni tokena. No, kada šalješ više povezanih zahtjeva (isti razgovor, ista tema), dio konteksta se ponavlja. Zaglavlje x-grok-conv-id omogućuje xAI-ju da identificira te povezane zahtjeve i poveća stopu pogodaka u međuspremniku (cache hit rate), čime smanjuješ svoje troškove.

Zaglavlje x-grok-conv-id

Za omogućivanje međuspremanja razgovora dodaj prilagođeno zaglavlje s jedinstvenim v4 UUID-om po razgovoru:

import uuid

conversation_id = str(uuid.uuid4())

# With the OpenAI SDK
response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}],
    extra_headers={
        "x-grok-conv-id": conversation_id
    }
)

Svi zahtjevi koji dijele isti x-grok-conv-id imaju korist od poboljšane stope pogodaka u međuspremniku. Tokeni u međuspremniku naplaćuju se po smanjenoj stopi u usporedbi sa standardnim tokenima.

Pravila korištenja

  • Generiraj novi UUID za svaki razgovor ili logičku sesiju
  • Ponovno upotrijebi isti UUID za sve zahtjeve unutar istog razgovora
  • Nemoj ponovno upotrebljavati UUID kroz različite razgovore (to narušava međuspremanje)
# Pattern for a chatbot
class ConversationManager:
    def __init__(self):
        self.conv_id = str(uuid.uuid4())
        self.messages = []

    async def send(self, user_message: str) -> str:
        self.messages.append({"role": "user", "content": user_message})

        response = await client.chat.completions.create(
            model="grok-4.5",
            messages=self.messages,
            extra_headers={"x-grok-conv-id": self.conv_id}
        )

        assistant_message = response.choices[0].message.content
        self.messages.append({"role": "assistant", "content": assistant_message})
        return assistant_message

Vremensko ograničenje od 3600 sekundi za rezoniranje

Modeli za rezoniranje (grok-4.20-0309-reasoning i slični) provode interno rezoniranje prije odgovora. To rezoniranje može trajati nekoliko minuta za složene probleme. Zadano vremensko ograničenje za većinu HTTP klijenata (30–120 sekundi) nije dovoljno.

# Correct configuration for reasoning
from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(
        connect=10.0,     # fast connection
        read=3600.0,      # 1 hour for read
        write=30.0,       # prompt submission
        pool=10.0         # connection wait
    )
)

read=3600.0 je ključna vrijednost. To je maksimalno kašnjenje između trenutka kada poslužitelj počne obrađivati tvoj zahtjev i trenutka kada primiš odgovor. Za model za rezoniranje koji rezonira 5 minuta potrebna ti je ta margina.

Kada smanjiti vremensko ograničenje

Vremensko ograničenje od 3600 sekundi nije uvijek potrebno:

  • grok-4.5 (bez rezoniranja): vremensko ograničenje od 120–300 sekundi obično je dovoljno
  • Jednostavni zahtjevi: čak i s modelom za rezoniranje, kratka pitanja dobivaju odgovor za manje od minute
  • Testno okruženje: vremensko ograničenje od 60 sekundi omogućuje brzo otkrivanje problema
# Client for fast requests
fast_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(120.0)
)

# Client for complex reasoning
reasoning_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Korištenje dva klijenta s različitim vremenskim ograničenjima čest je obrazac u proizvodnji.

Napomena o grok-4.5 i rezoniranju

Model grok-4.5 ne vraća polje reasoning_content u običnom tekstu u odgovoru. Interno rezoniranje se provodi, ali ostaje nevidljivo. Ako trebaš vidjeti proces rezoniranja, upotrijebi use_encrypted_content=True da ga sačuvaš između zahtjeva bez mogućnosti čitanja, ili upotrijebi grok-4.20-0309-reasoning, koji više otkriva svoj proces.

Provjeri utjecaj međuspremnika

Za mjerenje učinkovitosti međuspremnika usporedi polje usage između zahtjeva s x-grok-conv-id i bez njega:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=messages,
    extra_headers={"x-grok-conv-id": conv_id}
)

usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
    cached = usage.prompt_tokens_details.cached_tokens
    total = usage.prompt_tokens
    print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")

Visoka stopa pogodaka u međuspremniku znači da se tvoji tokeni konteksta ponovno upotrebljavaju umjesto da se ponovno obrađuju, što izravno smanjuje tvoj račun.

Ključne točke

  • x-grok-conv-id s v4 UUID-om omogućuje međuspremanje razgovora za povezane zahtjeve
  • Tokeni u međuspremniku naplaćuju se po smanjenoj stopi
  • Vremensko ograničenje od 3600 sekundi nužno je za modele za rezoniranje
  • Upotrijebi zasebne klijente za brze zahtjeve i zahtjeve za rezoniranje
  • grok-4.5 ne vraća reasoning_content u običnom tekstu
  • Prati stopu pogodaka u međuspremniku u usage.prompt_tokens_details kako bi potvrdio optimizaciju