Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Välimuistin x-grok-conv-id ja päättelyaikakatkaisu

Oppitunti 11 / 12 Päivitetty 30. heinäkuuta 2026 Edistynyt
Tällä sivulla
  1. Optimoi kustannuksia välimuistilla
  2. x-grok-conv-id-otsake
  3. 3600 sekunnin aikakatkaisu päättelylle
  4. Huomio grok-4.5:stä ja päättelystä
  5. Tarkista välimuistin vaikutus
  6. Keskeiset asiat

Optimoi kustannuksia välimuistilla

Jokainen xAI-rajapinnalle lähetetty pyyntö laskutetaan vakiohintaisen token-määrän mukaan. Kun lähetät useita toisiinsa liittyviä pyyntöjä (sama keskustelu, sama aihe), osa kontekstista toistuu. x-grok-conv-id-otsake mahdollistaa sen, että xAI tunnistaa nämä liittyvät pyynnöt ja kasvattaa välimuistin osumaprosenttia, mikä laskee kustannuksiasi.

x-grok-conv-id-otsake

Ottaaksesi keskusteluvälimuistin käyttöön, lisää mukautettu otsake, jossa on yksilöllinen v4-UUID jokaiselle keskustelulle:

import uuid

conversation_id = str(uuid.uuid4())

# OpenAI SDK:n kanssa
response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}],
    extra_headers={
        "x-grok-conv-id": conversation_id
    }
)

Kaikki pyynnöt, jotka jakavat saman x-grok-conv-id:n, hyötyvät parantuneesta välimuistin osumaprosentista. Välimuistitetut tokenit laskutetaan alennetulla hinnalla verrattuna vakiotokeneihin.

Käyttösäännöt

  • Luo uusi UUID jokaiselle keskustelulle tai loogiselle istunnolle.
  • Käytä samaa UUID:tä kaikissa pyynnöissä saman keskustelun aikana.
  • Älä käytä samaa UUID:tä eri keskusteluissa (tämä heikentää välimuistin tehokkuutta).
# Keskustelubotin malli
class ConversationManager:
    def __init__(self):
        self.conv_id = str(uuid.uuid4())
        self.messages = []

    async def send(self, user_message: str) -> str:
        self.messages.append({"role": "user", "content": user_message})

        response = await client.chat.completions.create(
            model="grok-4.5",
            messages=self.messages,
            extra_headers={"x-grok-conv-id": self.conv_id}
        )

        assistant_message = response.choices[0].message.content
        self.messages.append({"role": "assistant", "content": assistant_message})
        return assistant_message

3600 sekunnin aikakatkaisu päättelylle

Päättelymallit (grok-4.20-0309-reasoning ja vastaavat) suorittavat sisäistä päättelyä ennen vastaamista. Tämä päättely voi kestää useita minuutteja monimutkaisissa tehtävissä. Useimpien HTTP-asiakkaiden oletusaikakatkaisu (30–120 sekuntia) ei riitä.

# Oikea määritys päättelylle
from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(
        connect=10.0,     # nopea yhteys
        read=3600.0,      # 1 tuki lukua varten
        write=30.0,       # kehotteen lähetys
        pool=10.0         # yhteyden odotus
    )
)

read=3600.0 on kriittinen arvo. Tämä on suurin sallittu viive siitä, kun palvelin aloittaa pyyntösi käsittelyn, siihen, kun vastaanotat vastauksen. Päättelymallille, joka päättelee 5 minuuttia, tarvitset tämän marginaalin.

Milloin aikakatkaisua kannattaa lyhentää

3600 sekunnin aikakatkaisu ei ole aina tarpeen:

  • grok-4.5 (ei-päättely): 120–300 sekunnin aikakatkaisu riittää yleensä.
  • Yksinkertaiset pyynnöt: jopa päättelymallilla lyhyet kysymykset saavat vastauksen alle minuutissa.
  • Testiympäristö: 60 sekunnin aikakatkaisu mahdollistaa ongelmien nopean havaitsemisen.
# Asiakas nopeita pyyntöjä varten
fast_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(120.0)
)

# Asiakas monimutkaista päättelyä varten
reasoning_client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Kahden eri aikakatkaisulla varustetun asiakkaan käyttäminen on yleinen käytäntö tuotantoympäristöissä.

Huomio grok-4.5:stä ja päättelystä

grok-4.5-malli ei palauta reasoning_content-kenttää selväkielisenä vastauksessa. Sisäinen päättely suoritetaan, mutta se pysyy läpinäkymättömänä. Jos tarvitset näkyviin päättelyprosessin, käytä asetusta use_encrypted_content=True säilyttääksesi sen pyyntöjen välillä lukukelvottomana, tai käytä mallia grok-4.20-0309-reasoning, joka paljastaa prosessistaan enemmän.

Tarkista välimuistin vaikutus

Mittaaaksesi välimuistin tehokkuutta, vertaa usage-kenttää pyyntöjen välillä, joissa on ja joissa ei ole x-grok-conv-id:tä:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=messages,
    extra_headers={"x-grok-conv-id": conv_id}
)

usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
    cached = usage.prompt_tokens_details.cached_tokens
    total = usage.prompt_tokens
    print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")

Korkea välimuistin osumaprosentti tarkoittaa, että kontekstitokenisi käytetään uudelleen niiden uudelleenkäsittelyn sijaan, mikä laskee laskuasi suoraan.

Keskeiset asiat

  • x-grok-conv-id v4-UUID:n kanssa mahdollistaa keskusteluvälimuistin liittyville pyynnöille.
  • Välimuistitetut tokenit laskutetaan alennetulla hinnalla.
  • 3600 sekunnin aikakatkaisu on välttämätön päättelymalleille.
  • Käytä erillisiä asiakkaita nopeille pyynnöille ja päättelypyynnöille.
  • grok-4.5 ei palauta reasoning_content:tä selväkielisenä.
  • Seuraa välimuistin osumaprosenttia kohdassa usage.prompt_tokens_details varmistaaksesi optimoinnin onnistumisen.