AsyncOpenAI с httpx.Timeout
На тази страница
Алтернатива на xAI SDK
Родният xAI SDK не е единственият Ви вариант за асинхронна работа с Grok API. SDK на OpenAI, широко разпространен в екосистемата на Python, функционира с xAI API благодарение на съвместимостта на форматите. Този подход Ви позволява да преизползвате съществуващ код за OpenAI и да се възползвате от околната екосистема от инструменти.
Конфигуриране на AsyncOpenAI за xAI
Инициализацията изисква три параметъра: Вашия API ключ, базовия URL на xAI и таймаут, адаптиран за моделите за разсъждения:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Ключовият детайл тук е httpx.Timeout(3600.0). SDK на OpenAI използва httpx като свой основен HTTP клиент, а таймаутът по подразбиране е 10 минути. За моделите за разсъждения на Grok трябва да увеличите тази стойност до 3600 секунди (един час), за да предотвратите преждевременно прекъсване на връзката.
Разбиране на httpx.Timeout
Класът httpx.Timeout приема няколко параметъра, които контролират различни фази на връзката:
# Еднакъв таймаут: 3600s за всичко
timeout = httpx.Timeout(3600.0)
# Детайлен таймаут
timeout = httpx.Timeout(
connect=10.0, # таймаут за първоначална връзка
read=3600.0, # таймаут за четене на отговора
write=30.0, # таймаут за изпращане на заявката
pool=10.0 # време за изчакване на свободна връзка
)
В производствена среда можете фино да настроите тези стойности. Първоначалната връзка трябва да се провали бързо, ако сървърът е недостъпен (10 секунди са достатъчни), докато таймаутът за четене трябва да бъде достатъчно търпелив, за да изчака разсъжденията на модела.
Изпращане на заявки
Синтаксисът следва стандартния формат на OpenAI SDK, използвайки await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Ще видите същата структура като при OpenAI API: масив messages с роли и съдържание. Отговорът следва същата схема и е достъпен чрез response.choices[0].message.content.
Обработка на грешки с httpx
OpenAI SDK с httpx предоставя специфични изключения, които трябва да прихванете:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
Трите най-чести изключения са APITimeoutError (моделът не е отговорил в определения срок), RateLimitError (надвишили сте лимитите RPM/TPM) и APIConnectionError (мрежов проблем).
Кога да изберете AsyncOpenAI пред xAI SDK
SDK на OpenAI е за предпочитане, ако вече разполагате с кодова база за OpenAI, използвате инструменти на трети страни, съвместими с OpenAI (LangChain, LiteLLM), или искате да превключвате между доставчици, без да модифицирате кода си. Родният xAI SDK обаче предлага по-директен достъп до специфични функции на Grok, като вградени инструменти.
Ключови изводи
AsyncOpenAIработи с xAI API чрезbase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)е задължителен за моделите за разсъждения- Форматът на заявките и отговорите е идентичен със стандартния OpenAI API
- Изключенията
APITimeoutError,RateLimitErrorиAPIConnectionErrorпокриват основните случаи на грешки - Този избор е идеален за преизползване на съществуващ код или интегриране на инструменти на трети страни, съвместими с OpenAI