AsyncOpenAI med httpx.Timeout
På denna sida
Alternativet OpenAI SDK
Det inbyggda xAI SDK:t är inte ditt enda alternativ för asynkront arbete med Grok API:t. OpenAI SDK:t, som är brett använt i hela Python-ekosystemet, fungerar med xAI API:t tack vare formatkompatibilitet. Detta tillvägagångssätt låter dig återanvända befintlig OpenAI-kod och dra nytta av det omgivande verktygsekosystemet.
Konfigurera AsyncOpenAI för xAI
Initieringen kräver tre parametrar: din API-nyckel, xAI:s bas-URL och en timeout justerad för resonemangsmodeller:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Det avgörande här är httpx.Timeout(3600.0). OpenAI SDK:t använder httpx som sin underliggande HTTP-klient, och standard-timeouten är 10 minuter. För Groks resonemangsmodeller måste du öka detta till 3600 sekunder (en timme) för att förhindra för tidiga frånkopplingar.
Förstå httpx.Timeout
Klassen httpx.Timeout accepterar flera parametrar som styr olika faser av anslutningen:
# Enhetlig timeout: 3600s för allt
timeout = httpx.Timeout(3600.0)
# Granulär timeout
timeout = httpx.Timeout(
connect=10.0, # timeout för initial anslutning
read=3600.0, # timeout för läsning av svar
write=30.0, # timeout för sändning av förfrågan
pool=10.0 # väntetid för en ledig anslutning
)
I produktion kan du finjustera dessa värden. Den initiala anslutningen bör misslyckas snabbt om servern inte går att nå (10 sekunder räcker), medan lästimeouten måste vara tålmodig nog att vänta på modellens resonemang.
Skicka förfrågningar
Syntaxen följer standardformatet för OpenAI SDK och använder await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Du ser samma struktur som i OpenAI API:t: en messages-array med roller och innehåll. Svaret följer samma schema och är tillgängligt via response.choices[0].message.content.
Felhantering med httpx
OpenAI SDK:t med httpx tillhandahåller specifika undantag som du behöver fånga:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
De tre vanligaste undantagen är APITimeoutError (modellen svarade inte inom den tilldelade tiden), RateLimitError (du har överskridit gränserna för RPM/TPM) och APIConnectionError (nätverksfel).
När ska du välja AsyncOpenAI framför xAI SDK?
OpenAI SDK:t är att föredra om du redan har en OpenAI-kodbas, använder tredjepartsverktyg kompatibla med OpenAI (LangChain, LiteLLM) eller vill byta mellan leverantörer utan att modifiera din kod. Det inbyggda xAI SDK:t erbjuder dock mer direkt tillgång till Grok-specifika funktioner, såsom inbyggda verktyg.
Viktiga punkter
AsyncOpenAIfungerar med xAI API:t viabase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)krävs för resonemangsmodeller- Formatet för förfrågan och svar är identiskt med standard-API:t för OpenAI
- Undantagen
APITimeoutError,RateLimitErrorochAPIConnectionErrortäcker de huvudsakliga felen - Detta val är idealiskt för att återanvända befintlig kod eller integrera tredjepartsverktyg kompatibla med OpenAI