AsyncOpenAI s httpx.Timeout
Na tejto strane
Alternatíva k natívnemu SDK OpenAI
Natívne SDK xAI nie je jedinou možnosťou pre asynchrónnu prácu s API Grok. SDK OpenAI, ktoré je v ekosystéme Pythonu široko adoptované, funguje s API xAI vďaka kompatibilite formátov. Tento prístup ti umožňuje opätovne využiť existujúci kód pre OpenAI a čerpať z okolitého ekosystému nástrojov.
Konfigurácia AsyncOpenAI pre xAI
Inicializácia vyžaduje tri parametre: tvoj API kľúč, základnú URL adresu xAI a časový limit prispôsobený pre modely zamerané na logické usudzovanie:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Kľúčovým detailom je tu httpx.Timeout(3600.0). SDK OpenAI používa httpx ako svoj podkladový HTTP klient a predvolený časový limit je 10 minút. Pre modely Grok zamerané na logické usudzovanie musíš túto hodnotu zvýšiť na 3600 sekúnd (jednu hodinu), aby sa predišlo predčasnému odpojeniu.
Pochopenie httpx.Timeout
Trieda httpx.Timeout prijíma niekoľko parametrov, ktoré riadia rôzne fázy pripojenia:
# Rovnomerný časový limit: 3600 s pre všetko
timeout = httpx.Timeout(3600.0)
# Granulárny časový limit
timeout = httpx.Timeout(
connect=10.0, # časový limit pre počiatočné pripojenie
read=3600.0, # časový limit pre čítanie odpovede
write=30.0, # časový limit pre odoslanie požiadavky
pool=10.0 # čas čakania na voľné pripojenie
)
V produkčnom prostredí môžeš tieto hodnoty jemne doladiť. Počiatočné pripojenie by malo rýchlo zlyhať, ak je server nedostupný (10 sekúnd stačí), zatiaľ čo časový limit pre čítanie musí byť dostatočne trpezlivý, aby počkal na logické usudzovanie modelu.
Odosielanie požiadaviek
Syntax sleduje štandardný formát SDK OpenAI s použitím await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Uvidíš rovnakú štruktúru ako v API OpenAI: pole messages s rolami a obsahom. Odpoveď nasleduje rovnakú schému a je prístupná cez response.choices[0].message.content.
Spracovanie chýb s httpx
SDK OpenAI s httpx poskytuje špecifické výnimky, ktoré musíš zachytávať:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Časový limit prekročený – požiadavka trvala príliš dlho")
return None
except RateLimitError:
print("Dosiahnutý limit rýchlosti – spomaľ odosielanie požiadaviek")
return None
except APIConnectionError:
print("Nepodarilo sa pripojiť k serveru xAI")
return None
Tri najbežnejšie výnimky sú APITimeoutError (model neodpovedal v pridelenom čase), RateLimitError (prekročil si limity RPM/TPM) a APIConnectionError (problém so sieťou).
Kedy zvoliť AsyncOpenAI namiesto SDK xAI
SDK OpenAI je vhodnejšie, ak už máš kódovú základňu pre OpenAI, používaš nástroje tretích strán kompatibilné s OpenAI (LangChain, LiteLLM) alebo chceš prepínať medzi poskytovateľmi bez úpravy kódu. Natívne SDK xAI však ponúka priamejší prístup k funkciám špecifickým pre Grok, ako sú vstavané nástroje.
Kľúčové poznatky
AsyncOpenAIfunguje s API xAI cezbase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)je potrebný pre modely zamerané na logické usudzovanie- Formát požiadavky a odpovede je totožný so štandardným API OpenAI
- Výnimky
APITimeoutError,RateLimitErroraAPIConnectionErrorpokrývajú hlavné prípady chýb - Táto voľba je ideálna na opätovné využitie existujúceho kódu alebo integráciu nástrojov tretích strán kompatibilných s OpenAI