Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

AsyncOpenAI mit httpx.Timeout

Lektion 2 von 12 Aktualisiert am 30. Juli 2026 Fortgeschritten
Auf dieser Seite
  1. Die Alternative zum nativen xAI SDK
  2. Konfigurieren von AsyncOpenAI für xAI
  3. httpx.Timeout verstehen
  4. Anfragen senden
  5. Fehlerbehandlung mit httpx
  6. Wann Sie AsyncOpenAI gegenüber dem xAI SDK bevorzugen
  7. Kernaussagen

Die Alternative zum nativen xAI SDK

Das native xAI SDK ist nicht Ihre einzige Option für asynchrone Arbeiten mit der Grok API. Das OpenAI SDK, das im Python-Ökosystem weit verbreitet ist, funktioniert mit der xAI API aufgrund der Formatkompatibilität. Dieser Ansatz ermöglicht es Ihnen, bestehenden OpenAI-Code wiederzuverwenden und auf das umgebende Tool-Ökosystem zuzugreifen.

Konfigurieren von AsyncOpenAI für xAI

Die Initialisierung erfordert drei Parameter: Ihren API-Schlüssel, die Basis-URL von xAI und ein Timeout, das für Reasoning-Modelle angepasst ist:

from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Der entscheidende Punkt hier ist httpx.Timeout(3600.0). Das OpenAI SDK verwendet httpx als zugrunde liegenden HTTP-Client, und die Standard-Timeout-Dauer beträgt 10 Minuten. Für Grok-Reasoning-Modelle müssen Sie diesen Wert auf 3600 Sekunden (eine Stunde) erhöhen, um vorzeitige Verbindungsabbrüche zu verhindern.

httpx.Timeout verstehen

Die Klasse httpx.Timeout akzeptiert mehrere Parameter, die verschiedene Phasen der Verbindung steuern:

# Einheitliches Timeout: 3600s für alles
timeout = httpx.Timeout(3600.0)

# Granulares Timeout
timeout = httpx.Timeout(
    connect=10.0,    # Timeout für die initiale Verbindung
    read=3600.0,     # Timeout für das Lesen der Antwort
    write=30.0,      # Timeout für das Senden der Anfrage
    pool=10.0        # Wartezeit für eine freie Verbindung
)

In der Produktion können Sie diese Werte feinjustieren. Die initiale Verbindung sollte schnell fehlschlagen, wenn der Server nicht erreichbar ist (10 Sekunden reichen aus), während das Read-Timeout geduldig genug sein muss, um auf die Überlegung des Modells zu warten.

Anfragen senden

Die Syntax folgt dem Standardformat des OpenAI SDK und verwendet await:

import asyncio

async def query_grok(prompt: str) -> str:
    response = await client.chat.completions.create(
        model="grok-4.20-0309-reasoning",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))

Sie werden dieselbe Struktur wie bei der OpenAI API sehen: Ein messages-Array mit Rollen und Inhalt. Die Antwort folgt demselben Schema und ist über response.choices[0].message.content zugänglich.

Fehlerbehandlung mit httpx

Das OpenAI SDK mit httpx bietet spezifische Ausnahmen, die Sie abfangen müssen:

from openai import APITimeoutError, APIConnectionError, RateLimitError

async def safe_query(prompt: str) -> str | None:
    try:
        response = await client.chat.completions.create(
            model="grok-4.20-0309-reasoning",
            messages=[{"role": "user", "content": prompt}]
        )
        return response.choices[0].message.content
    except APITimeoutError:
        print("Timeout exceeded—request took too long")
        return None
    except RateLimitError:
        print("Rate limit reached—slow down requests")
        return None
    except APIConnectionError:
        print("Cannot connect to xAI server")
        return None

Die drei häufigsten Ausnahmen sind APITimeoutError (das Modell hat nicht innerhalb der festgelegten Zeit geantwortet), RateLimitError (Sie haben die RPM/TPM-Grenzen überschritten) und APIConnectionError (Netzwerkproblem).

Wann Sie AsyncOpenAI gegenüber dem xAI SDK bevorzugen

Das OpenAI SDK ist vorzuziehen, wenn Sie bereits eine OpenAI-Codebasis haben, Drittanbieter-Tools verwenden, die mit OpenAI kompatibel sind (z. B. LangChain, LiteLLM), oder wenn Sie zwischen Anbietern wechseln möchten, ohne Ihren Code anzupassen. Das native xAI SDK bietet jedoch einen direkteren Zugriff auf Grok-spezifische Funktionen, wie z. B. integrierte Tools.

Kernaussagen

  • AsyncOpenAI funktioniert mit der xAI API über base_url="https://api.x.ai/v1"
  • httpx.Timeout(3600.0) ist für Reasoning-Modelle erforderlich
  • Das Format von Anfrage und Antwort ist identisch mit dem Standard-OpenAI-API-Format
  • Die Ausnahmen APITimeoutError, RateLimitError und APIConnectionError decken die wichtigsten Fehlerfälle ab
  • Diese Wahl ist ideal für die Wiederverwendung von bestehendem Code oder die Integration von Drittanbieter-Tools, die mit OpenAI kompatibel sind