AsyncOpenAI z httpx.Timeout
Na tej stronie
Alternatywa dla SDK OpenAI
Natywne SDK xAI to nie jedyna opcja pracy asynchronicznej z API Grok. SDK OpenAI, powszechnie stosowane w ekosystemie Pythona, współpracuje z API xAI dzięki kompatybilności formatów. Podejście to pozwala ponownie wykorzystać istniejący kod przeznaczony dla OpenAI i skorzystać z otaczających go narzędzi.
Konfiguracja AsyncOpenAI dla xAI
Inicjalizacja wymaga trzech parametrów: klucza API, bazowego URL xAI oraz czasu oczekiwania dostosowanego do modeli rozumujących:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Kluczowym szczegółem jest tutaj httpx.Timeout(3600.0). SDK OpenAI używa httpx jako podstawowego klienta HTTP, a domyślny limit czasu wynosi 10 minut. W przypadku modeli rozumujących Grok musisz zwiększyć tę wartość do 3600 sekund (jednej godziny), aby zapobiec przedwczesnemu rozłączeniu.
Zrozumienie httpx.Timeout
Klasa httpx.Timeout przyjmuje kilka parametrów kontrolujących różne fazy połączenia:
# Uniformny limit czasu: 3600 s dla wszystkiego
timeout = httpx.Timeout(3600.0)
# Szczegółowy limit czasu
timeout = httpx.Timeout(
connect=10.0, # limit czasu nawiązania początkowego połączenia
read=3600.0, # limit czasu odczytu odpowiedzi
write=30.0, # limit czasu wysyłki żądania
pool=10.0 # czas oczekiwania na wolne połączenie
)
W środowisku produkcyjnym możesz precyzyjnie dostroić te wartości. Początkowe połączenie powinno szybko kończyć się niepowodzeniem, jeśli serwer jest nieosiągalny (10 sekund wystarczy), podczas gdy limit czasu odczytu musi być na tyle cierpliwy, aby poczekać na rozumowanie modelu.
Wysyłanie żądań
Składnia follows standardowy format SDK OpenAI, używając await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Zobaczysz tę samą strukturę co w API OpenAI: tablicę messages z rolami i treścią. Odpowiedź遵循 ten sam schemat, dostępny poprzez response.choices[0].message.content.
Obsługa błędów z httpx
SDK OpenAI z httpx udostępnia specyficzne wyjątki, które musisz przechwycić:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Przekroczono limit czasu—żądanie trwało zbyt długo")
return None
except RateLimitError:
print("Osiągnięto limit częstotliwości—zwolnij z żądaniami")
return None
except APIConnectionError:
print("Nie można połączyć się z serwerem xAI")
return None
Trzy najczęstsze wyjątki to APITimeoutError (model nie odpowiedział w przydzielonym czasie), RateLimitError (przekroczyłeś limity RPM/TPM) oraz APIConnectionError (problem z siecią).
Kiedy wybrać AsyncOpenAI zamiast SDK xAI
SDK OpenAI jest preferowane, jeśli masz już bazę kodu OpenAI, używasz narzędzi zewnętrznych kompatybilnych z OpenAI (LangChain, LiteLLM) lub chcesz przełączać się między dostawcami bez modyfikowania kodu. Natywne SDK xAI oferuje jednak bardziej bezpośredni dostęp do funkcji specyficznych dla Grok, takich jak wbudowane narzędzia.
Kluczowe wnioski
AsyncOpenAIwspółpracuje z API xAI poprzezbase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)jest wymagane dla modeli rozumujących- Format żądania i odpowiedzi jest identyczny jak w standardowym API OpenAI
- Wyjątki
APITimeoutError,RateLimitErroriAPIConnectionErrorobejmują główne przypadki błędów - Ten wybór jest idealny do ponownego wykorzystania istniejącego kodu lub integracji narzędzi zewnętrznych kompatybilnych z OpenAI