AsyncOpenAI med httpx.Timeout
På denne side
Alternativet til OpenAI SDK
Det native xAI SDK er ikke din eneste mulighed for asynkront arbejde med Grok API’et. OpenAI SDK’et, som er bredt adopteret i Python-økosystemet, fungerer også med xAI API’et takket være formatkompatibilitet. Denne tilgang giver dig mulighed for at genbruge eksisterende OpenAI-kode og udnytte det omgivende værktøjsøkosystem.
Konfigurér AsyncOpenAI til xAI
Initialiseringen kræver tre parametre: din API-nøgle, xAI’s base-URL og en timeout justeret til ræsonnementsmodeller:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Det afgørende detalje her er httpx.Timeout(3600.0). OpenAI SDK’et bruger httpx som sin underliggende HTTP-klient, og standard-timeout’en er 10 minutter. Til Grok-ræsonnementsmodeller skal du øge dette til 3600 sekunder (en time) for at undgå for tidlige afbrydelser.
Forstå httpx.Timeout
Klassen httpx.Timeout accepterer flere parametre, der styrer forskellige faser af forbindelsen:
# Ensartet timeout: 3600s til alt
timeout = httpx.Timeout(3600.0)
# Granulær timeout
timeout = httpx.Timeout(
connect=10.0, # timeout for indledende forbindelse
read=3600.0, # timeout for læsning af svar
write=30.0, # timeout for afsendelse af forespørgsel
pool=10.0 # ventetid på en ledig forbindelse
)
I produktion kan du finjustere disse værdier. Den indledende forbindelse bør fejle hurtigt, hvis serveren ikke kan nås (10 sekunder er tilstrækkeligt), mens læse-timeout’en skal være tålmodig nok til at vente på modellens ræsonnement.
Send forespørgsler
Syntaksen følger standardformatet for OpenAI SDK og bruger await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Du vil se den samme struktur som i OpenAI API’et: et messages-array med roller og indhold. Svaret følger samme skema og er tilgængeligt via response.choices[0].message.content.
Fejlhåndtering med httpx
OpenAI SDK’et med httpx giver specifikke undtagelser, som du skal fange:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout overskredet – forespørgslen tog for lang tid")
return None
except RateLimitError:
print("Rate-limit nået – dæmp forespørgslerne")
return None
except APIConnectionError:
print("Kan ikke oprette forbindelse til xAI-serveren")
return None
De tre mest almindelige undtagelser er APITimeoutError (modellen svarede ikke inden for den tildelte tid), RateLimitError (du har overskredet RPM/TPM-grænser) og APIConnectionError (netværksproblem).
Hvornår skal du vælge AsyncOpenAI frem for xAI SDK?
OpenAI SDK’et er at foretrække, hvis du allerede har en OpenAI-kodebase, bruger tredjepartsværktøjer, der er kompatible med OpenAI (LangChain, LiteLLM), eller ønsker at skifte mellem udbydere uden at ændre din kode. Det native xAI SDK tilbyder dog mere direkte adgang til Grok-specifikke funktioner, såsom indbyggede værktøjer.
Vigtige pointer
AsyncOpenAIfungerer med xAI API’et viabase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)er påkrævet til ræsonnementsmodeller- Formatet for forespørgsler og svar er identisk med standard OpenAI API
- Undtagelserne
APITimeoutError,RateLimitErrorogAPIConnectionErrordækker de primære fejltilfælde - Dette valg er ideelt til genbrug af eksisterende kode eller integration af tredjepartsværktøjer, der er kompatible med OpenAI