AsyncOpenAI s httpx.Timeout
Na této stránce
Alternativa k nativnímu SDK OpenAI
Nativní SDK od xAI není jedinou možností pro asynchronní práci s API Grok. SDK OpenAI, které je v ekosystému Pythonu široce rozšířené, funguje s API xAI díky kompatibilitě formátů. Tento přístup ti umožňuje znovu využít stávající kód pro OpenAI a čerpat z okolního ekosystému nástrojů.
Konfigurace AsyncOpenAI pro xAI
Inicializace vyžaduje tři parametry: tvůj API klíč, základní URL adresu xAI a časový limit přizpůsobený pro modely zaměřené na logické uvažování:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Klíčovým detailem je zde httpx.Timeout(3600.0). SDK OpenAI používá jako svůj podkladový HTTP klient knihovnu httpx a výchozí časový limit je 10 minut. Pro modely Grok zaměřené na logické uvažování musíš tento limit zvýšit na 3600 sekund (jednu hodinu), abys předešel předčasnému odpojení.
Porozumění httpx.Timeout
Třída httpx.Timeout přijímá několik parametrů, které řídí různé fáze připojení:
# Uniformní časový limit: 3600 s pro vše
timeout = httpx.Timeout(3600.0)
# Detailní časový limit
timeout = httpx.Timeout(
connect=10.0, # časový limit pro počáteční připojení
read=3600.0, # časový limit pro čtení odpovědi
write=30.0, # časový limit pro odeslání požadavku
pool=10.0 # doba čekání na uvolnění připojení
)
V produkčním prostředí můžeš tyto hodnoty jemně doladit. Počáteční připojení by mělo rychle selhat, pokud je server nedostupný (10 sekund stačí), zatímco časový limit pro čtení musí být dostatečně trpělivý, aby počkal na výsledek logického uvažování modelu.
Odesílání požadavků
Syntaxe následuje standardní formát SDK OpenAI s použitím await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Uvidíš stejnou strukturu jako u API OpenAI: pole messages s rolemi a obsahem. Odpověď následuje stejné schéma a je přístupná přes response.choices[0].message.content.
Zpracování chyb s httpx
SDK OpenAI spolu s httpx poskytuje specifické výjimky, které musíš zachytit:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Časový limit překročen – požadavek trval příliš dlouho")
return None
except RateLimitError:
print("Dosažen limit rychlosti – zpomal frekvenci požadavků")
return None
except APIConnectionError:
print("Nelze se připojit k serveru xAI")
return None
Tři nejčastější výjimky jsou APITimeoutError (model neodpověděl ve stanoveném čase), RateLimitError (překročil jsi limity RPM/TPM) a APIConnectionError (problém se sítí).
Kdy zvolit AsyncOpenAI místo SDK xAI
SDK OpenAI je vhodnější, pokud již máš kódovou základnu pro OpenAI, používáš nástroje třetích stran kompatibilní s OpenAI (LangChain, LiteLLM) nebo chceš přepínat mezi poskytovateli bez úprav kódu. Nativní SDK xAI však nabízí přímější přístup ke funkcím specifickým pro Grok, jako jsou vestavěné nástroje.
Klíčové poznatky
AsyncOpenAIfunguje s API xAI prostřednictvímbase_url="https://api.x.ai/v1"- Pro modely zaměřené na logické uvažování je vyžadován
httpx.Timeout(3600.0) - Formát požadavků a odpovědí je totožný se standardním API OpenAI
- Výjimky
APITimeoutError,RateLimitErroraAPIConnectionErrorpokrývají hlavní případy chyb - Tato volba je ideální pro opětovné využití stávajícího kódu nebo integraci nástrojů třetích stran kompatibilních s OpenAI