Välimuistin x-grok-conv-id ja päättelyaikakatkaisu
Tällä sivulla
Optimoi kustannuksia välimuistilla
Jokainen xAI-rajapinnalle lähetetty pyyntö laskutetaan vakiohintaisen token-määrän mukaan. Kun lähetät useita toisiinsa liittyviä pyyntöjä (sama keskustelu, sama aihe), osa kontekstista toistuu. x-grok-conv-id-otsake mahdollistaa sen, että xAI tunnistaa nämä liittyvät pyynnöt ja kasvattaa välimuistin osumaprosenttia, mikä laskee kustannuksiasi.
x-grok-conv-id-otsake
Ottaaksesi keskusteluvälimuistin käyttöön, lisää mukautettu otsake, jossa on yksilöllinen v4-UUID jokaiselle keskustelulle:
import uuid
conversation_id = str(uuid.uuid4())
# OpenAI SDK:n kanssa
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={
"x-grok-conv-id": conversation_id
}
)
Kaikki pyynnöt, jotka jakavat saman x-grok-conv-id:n, hyötyvät parantuneesta välimuistin osumaprosentista. Välimuistitetut tokenit laskutetaan alennetulla hinnalla verrattuna vakiotokeneihin.
Käyttösäännöt
- Luo uusi UUID jokaiselle keskustelulle tai loogiselle istunnolle.
- Käytä samaa UUID:tä kaikissa pyynnöissä saman keskustelun aikana.
- Älä käytä samaa UUID:tä eri keskusteluissa (tämä heikentää välimuistin tehokkuutta).
# Keskustelubotin malli
class ConversationManager:
def __init__(self):
self.conv_id = str(uuid.uuid4())
self.messages = []
async def send(self, user_message: str) -> str:
self.messages.append({"role": "user", "content": user_message})
response = await client.chat.completions.create(
model="grok-4.5",
messages=self.messages,
extra_headers={"x-grok-conv-id": self.conv_id}
)
assistant_message = response.choices[0].message.content
self.messages.append({"role": "assistant", "content": assistant_message})
return assistant_message
3600 sekunnin aikakatkaisu päättelylle
Päättelymallit (grok-4.20-0309-reasoning ja vastaavat) suorittavat sisäistä päättelyä ennen vastaamista. Tämä päättely voi kestää useita minuutteja monimutkaisissa tehtävissä. Useimpien HTTP-asiakkaiden oletusaikakatkaisu (30–120 sekuntia) ei riitä.
# Oikea määritys päättelylle
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(
connect=10.0, # nopea yhteys
read=3600.0, # 1 tuki lukua varten
write=30.0, # kehotteen lähetys
pool=10.0 # yhteyden odotus
)
)
read=3600.0 on kriittinen arvo. Tämä on suurin sallittu viive siitä, kun palvelin aloittaa pyyntösi käsittelyn, siihen, kun vastaanotat vastauksen. Päättelymallille, joka päättelee 5 minuuttia, tarvitset tämän marginaalin.
Milloin aikakatkaisua kannattaa lyhentää
3600 sekunnin aikakatkaisu ei ole aina tarpeen:
- grok-4.5 (ei-päättely): 120–300 sekunnin aikakatkaisu riittää yleensä.
- Yksinkertaiset pyynnöt: jopa päättelymallilla lyhyet kysymykset saavat vastauksen alle minuutissa.
- Testiympäristö: 60 sekunnin aikakatkaisu mahdollistaa ongelmien nopean havaitsemisen.
# Asiakas nopeita pyyntöjä varten
fast_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(120.0)
)
# Asiakas monimutkaista päättelyä varten
reasoning_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Kahden eri aikakatkaisulla varustetun asiakkaan käyttäminen on yleinen käytäntö tuotantoympäristöissä.
Huomio grok-4.5:stä ja päättelystä
grok-4.5-malli ei palauta reasoning_content-kenttää selväkielisenä vastauksessa. Sisäinen päättely suoritetaan, mutta se pysyy läpinäkymättömänä. Jos tarvitset näkyviin päättelyprosessin, käytä asetusta use_encrypted_content=True säilyttääksesi sen pyyntöjen välillä lukukelvottomana, tai käytä mallia grok-4.20-0309-reasoning, joka paljastaa prosessistaan enemmän.
Tarkista välimuistin vaikutus
Mittaaaksesi välimuistin tehokkuutta, vertaa usage-kenttää pyyntöjen välillä, joissa on ja joissa ei ole x-grok-conv-id:tä:
response = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
extra_headers={"x-grok-conv-id": conv_id}
)
usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
cached = usage.prompt_tokens_details.cached_tokens
total = usage.prompt_tokens
print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")
Korkea välimuistin osumaprosentti tarkoittaa, että kontekstitokenisi käytetään uudelleen niiden uudelleenkäsittelyn sijaan, mikä laskee laskuasi suoraan.
Keskeiset asiat
x-grok-conv-idv4-UUID:n kanssa mahdollistaa keskusteluvälimuistin liittyville pyynnöille.- Välimuistitetut tokenit laskutetaan alennetulla hinnalla.
- 3600 sekunnin aikakatkaisu on välttämätön päättelymalleille.
- Käytä erillisiä asiakkaita nopeille pyynnöille ja päättelypyynnöille.
grok-4.5ei palautareasoning_content:tä selväkielisenä.- Seuraa välimuistin osumaprosenttia kohdassa
usage.prompt_tokens_detailsvarmistaaksesi optimoinnin onnistumisen.