AsyncOpenAI met httpx.Timeout
Op deze pagina
Het alternatief voor de OpenAI SDK
De native xAI SDK is niet uw enige optie voor asynchroon werk met de Grok API. De OpenAI SDK, die wijdverspreid is in het Python-ecosysteem, werkt ook met de xAI API dankzij de compatibiliteit van het formaat. Deze aanpak stelt u in staat bestaande OpenAI-code te hergebruiken en profiteert u van het omliggende tool-ecosysteem.
AsyncOpenAI configureren voor xAI
Voor de initialisatie zijn drie parameters vereist: uw API-sleutel, de basis-URL van xAI en een time-out die is afgestemd op redeneermodellen:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Het cruciale detail hier is httpx.Timeout(3600.0). De OpenAI SDK gebruikt httpx als onderliggende HTTP-client en de standaard time-out bedraagt 10 minuten. Voor Grok-redeneermodellen moet u deze verhogen naar 3600 seconden (één uur) om voortijdige verbrekings te voorkomen.
httpx.Timeout begrijpen
De klasse httpx.Timeout accepteert verschillende parameters die verschillende fasen van de verbinding aansturen:
# Uniforme time-out: 3600s voor alles
timeout = httpx.Timeout(3600.0)
# Gedetailleerde time-out
timeout = httpx.Timeout(
connect=10.0, # time-out voor initiële verbinding
read=3600.0, # time-out voor het lezen van het antwoord
write=30.0, # time-out voor het verzenden van het verzoek
pool=10.0 # wachttijd op een vrije verbinding
)
In een productieomgeving kunt u deze waarden fijnafstellen. De initiële verbinding moet snel falen als de server onbereikbaar is (10 seconden is voldoende), terwijl de lees-time-out geduldig genoeg moet zijn om op de redenering van het model te wachten.
Verzoeken verzenden
De syntaxis volgt het standaardformaat van de OpenAI SDK en gebruikt await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
U ziet dezelfde structuur als bij de OpenAI API: een messages-array met rollen en inhoud. Het antwoord volgt hetzelfde schema en is toegankelijk via response.choices[0].message.content.
Foutafhandeling met httpx
De OpenAI SDK met httpx biedt specifieke uitzonderingen die u moet afvangen:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
De drie meest voorkomende uitzonderingen zijn APITimeoutError (het model reageerde niet binnen de toegewezen tijd), RateLimitError (u hebt de RPM/TPM-limieten overschreden) en APIConnectionError (netwerkprobleem).
Wanneer kiest u voor AsyncOpenAI in plaats van de xAI SDK?
De OpenAI SDK heeft de voorkeur als u al een OpenAI-codebase hebt, tools van derden gebruikt die compatibel zijn met OpenAI (zoals LangChain of LiteLLM), of zonder codeaanpassingen tussen providers wilt schakelen. De native xAI SDK biedt echter directere toegang tot Grok-specifieke functies, zoals ingebouwde tools.
Belangrijkste punten
AsyncOpenAIwerkt met de xAI API viabase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)is vereist voor redeneermodellen- Het formaat van verzoeken en antwoorden is identiek aan de standaard OpenAI API
- Uitzonderingen
APITimeoutError,RateLimitErrorenAPIConnectionErrordekken de belangrijkste foutgevallen - Deze keuze is ideaal voor het hergebruiken van bestaande code of het integreren van tools van derden die compatibel zijn met OpenAI