AsyncOpenAI mit httpx.Timeout
Auf dieser Seite
Die Alternative zum nativen xAI SDK
Das native xAI SDK ist nicht Ihre einzige Option für asynchrone Arbeiten mit der Grok API. Das OpenAI SDK, das im Python-Ökosystem weit verbreitet ist, funktioniert mit der xAI API aufgrund der Formatkompatibilität. Dieser Ansatz ermöglicht es Ihnen, bestehenden OpenAI-Code wiederzuverwenden und auf das umgebende Tool-Ökosystem zuzugreifen.
Konfigurieren von AsyncOpenAI für xAI
Die Initialisierung erfordert drei Parameter: Ihren API-Schlüssel, die Basis-URL von xAI und ein Timeout, das für Reasoning-Modelle angepasst ist:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Der entscheidende Punkt hier ist httpx.Timeout(3600.0). Das OpenAI SDK verwendet httpx als zugrunde liegenden HTTP-Client, und die Standard-Timeout-Dauer beträgt 10 Minuten. Für Grok-Reasoning-Modelle müssen Sie diesen Wert auf 3600 Sekunden (eine Stunde) erhöhen, um vorzeitige Verbindungsabbrüche zu verhindern.
httpx.Timeout verstehen
Die Klasse httpx.Timeout akzeptiert mehrere Parameter, die verschiedene Phasen der Verbindung steuern:
# Einheitliches Timeout: 3600s für alles
timeout = httpx.Timeout(3600.0)
# Granulares Timeout
timeout = httpx.Timeout(
connect=10.0, # Timeout für die initiale Verbindung
read=3600.0, # Timeout für das Lesen der Antwort
write=30.0, # Timeout für das Senden der Anfrage
pool=10.0 # Wartezeit für eine freie Verbindung
)
In der Produktion können Sie diese Werte feinjustieren. Die initiale Verbindung sollte schnell fehlschlagen, wenn der Server nicht erreichbar ist (10 Sekunden reichen aus), während das Read-Timeout geduldig genug sein muss, um auf die Überlegung des Modells zu warten.
Anfragen senden
Die Syntax folgt dem Standardformat des OpenAI SDK und verwendet await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Sie werden dieselbe Struktur wie bei der OpenAI API sehen: Ein messages-Array mit Rollen und Inhalt. Die Antwort folgt demselben Schema und ist über response.choices[0].message.content zugänglich.
Fehlerbehandlung mit httpx
Das OpenAI SDK mit httpx bietet spezifische Ausnahmen, die Sie abfangen müssen:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
Die drei häufigsten Ausnahmen sind APITimeoutError (das Modell hat nicht innerhalb der festgelegten Zeit geantwortet), RateLimitError (Sie haben die RPM/TPM-Grenzen überschritten) und APIConnectionError (Netzwerkproblem).
Wann Sie AsyncOpenAI gegenüber dem xAI SDK bevorzugen
Das OpenAI SDK ist vorzuziehen, wenn Sie bereits eine OpenAI-Codebasis haben, Drittanbieter-Tools verwenden, die mit OpenAI kompatibel sind (z. B. LangChain, LiteLLM), oder wenn Sie zwischen Anbietern wechseln möchten, ohne Ihren Code anzupassen. Das native xAI SDK bietet jedoch einen direkteren Zugriff auf Grok-spezifische Funktionen, wie z. B. integrierte Tools.
Kernaussagen
AsyncOpenAIfunktioniert mit der xAI API überbase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)ist für Reasoning-Modelle erforderlich- Das Format von Anfrage und Antwort ist identisch mit dem Standard-OpenAI-API-Format
- Die Ausnahmen
APITimeoutError,RateLimitErrorundAPIConnectionErrordecken die wichtigsten Fehlerfälle ab - Diese Wahl ist ideal für die Wiederverwendung von bestehendem Code oder die Integration von Drittanbieter-Tools, die mit OpenAI kompatibel sind