Кеширане на x-grok-conv-id и таймаут за разсъждения
На тази страница
Оптимизиране на разходите чрез кеширане
Всяка заявка, изпратена към API на xAI, се таксува на стандартната цена за токен. Когато обаче изпращате множество свързани заявки (един и същи разговор, една и съща тема), част от контекста се повтаря. Заглавието x-grok-conv-id позволява на xAI да идентифицира тези свързани заявки и да увеличи процента на попадения в кеша (cache hit rate), което намалява вашите разходи.
Заглавие x-grok-conv-id
За да активирате кеширането на разговори, добавете персонализирано заглавие с уникален v4 UUID за всеки разговор:
import uuid
conversation_id = str(uuid.uuid4())
# With the OpenAI SDK
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}],
extra_headers={
"x-grok-conv-id": conversation_id
}
)
Всички заявки, споделящи едно и също x-grok-conv-id, се възползват от подобрен процент на попадения в кеша. Кешуваните токени се таксуват на намалена ставка в сравнение със стандартните токени.
Правила за употреба
- Генерирайте нов UUID за всеки разговор или логическа сесия.
- Използвайте повторно един и същи UUID за всички заявки в рамките на един и същи разговор.
- Не използвайте повторно UUID за различни разговори (това влошава кеширането).
# Pattern for a chatbot
class ConversationManager:
def __init__(self):
self.conv_id = str(uuid.uuid4())
self.messages = []
async def send(self, user_message: str) -> str:
self.messages.append({"role": "user", "content": user_message})
response = await client.chat.completions.create(
model="grok-4.5",
messages=self.messages,
extra_headers={"x-grok-conv-id": self.conv_id}
)
assistant_message = response.choices[0].message.content
self.messages.append({"role": "assistant", "content": assistant_message})
return assistant_message
Таймаут от 3600 секунди за разсъждения
Моделите за разсъждения (grok-4.20-0309-reasoning и подобни) извършват вътрешни разсъждения, преди да отговорят. Този процес може да отнеме няколко минути при сложни проблеми. Стандартният таймаут за повечето HTTP клиенти (30–120 секунди) е недостатъчен.
# Correct configuration for reasoning
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(
connect=10.0, # fast connection
read=3600.0, # 1 hour for read
write=30.0, # prompt submission
pool=10.0 # connection wait
)
)
Стойността read=3600.0 е критична. Това е максималното забавяне между момента, в който сървърът започне да обработва вашата заявка, и момента, в който получавате отговора. За модел за разсъждения, който разсъждава в продължение на 5 минути, ви е необходим този марж.
Кога да намалите таймаута
Таймаутът от 3600 секунди не винаги е необходим:
- grok-4.5 (без разсъждения): таймаут от 120–300 секунди обикновено е достатъчен.
- Прости заявки: дори при модел за разсъждения, кратките въпроси получават отговор за по-малко от минута.
- Тестова среда: таймаут от 60 секунди ви позволява бързо да откриете проблеми.
# Client for fast requests
fast_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(120.0)
)
# Client for complex reasoning
reasoning_client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Използването на два клиента с различни таймаути е често срещана практика в производствената среда.
Бележка относно grok-4.5 и разсъжденията
Моделът grok-4.5 не връща полето reasoning_content в четим текст в отговора. Вътрешните разсъждения се извършват, но остават непрозрачни. Ако трябва да видите процеса на разсъждение, използвайте use_encrypted_content=True, за да го запазите между заявките, без да можете да го прочетете, или използвайте grok-4.20-0309-reasoning, който разкрива повече от своя процес.
Проверка на влиянието на кеша
За да измерите ефективността на кеша, сравнете полето usage между заявки с и без x-grok-conv-id:
response = await client.chat.completions.create(
model="grok-4.5",
messages=messages,
extra_headers={"x-grok-conv-id": conv_id}
)
usage = response.usage
if hasattr(usage, 'prompt_tokens_details'):
cached = usage.prompt_tokens_details.cached_tokens
total = usage.prompt_tokens
print(f"Cache hit: {cached}/{total} tokens ({cached/total*100:.0f}%)")
Висок процент на попадения в кеша означава, че вашите контекстуални токени се използват повторно, вместо да се обработват отново, което директно намалява вашата фактура.
Ключови изводи
x-grok-conv-idс v4 UUID активира кеширането на разговори за свързани заявки.- Кешуваните токени се таксуват на намалена ставка.
- Таймаут от 3600 секунди е необходим за моделите за разсъждения.
- Използвайте отделни клиенти за бързи заявки и заявки за разсъждения.
grok-4.5не връщаreasoning_contentв четим текст.- Следете процента на попадения в кеша в
usage.prompt_tokens_details, за да валидирате оптимизацията.