AsyncOpenAI httpx.Timeout használatával
Ezen az oldalon
Az OpenAI SDK alternatíva
A natív xAI SDK nem az egyetlen lehetőségod a Grok API-val végzett aszinkron munkára. A Python-ökoszisztémában széles körben elterjedt OpenAI SDK formátum-kompatibilitás miatt az xAI API-val is működik. Ez a megközelítés lehetővé teszi, hogy újrahasznosítsd a meglévő OpenAI-kódodat, és hozzáférj a kapcsolódó eszközökhöz.
Az AsyncOpenAI konfigurálása xAI-hoz
A inicializáláshoz három paraméterre van szükséged: az API-kulcsodra, az xAI alapURL-jére és a gondolkodó modellekhez igazított időtúllépési beállításra:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Itt a legfontosabb részlet a httpx.Timeout(3600.0). Az OpenAI SDK az httpx-et használja alapvető HTTP-kliensként, ahol az alapértelmezett időtúllépés 10 perc. A Grok gondolkodó modelljei esetén ezt 3600 másodpercre (egy órára) kell növelned, hogy elkerüld a korai kapcsolatbontást.
A httpx.Timeout megértése
A httpx.Timeout osztály több paramétert is elfogad, amelyek a kapcsolat különböző fázisait szabályozzák:
# Egységes időtúllépés: mindenre 3600 mp
timeout = httpx.Timeout(3600.0)
# Részletes időtúllépés
timeout = httpx.Timeout(
connect=10.0, # kezdeti kapcsolódási időtúllépés
read=3600.0, # válasz olvasási időtúllépés
write=30.0, # kérés küldési időtúllépés
pool=10.0 # várakozási idő egy szabad kapcsolatra
)
Éles környezetben finomhangolhatod ezeket az értékeket. A kezdeti kapcsolódásnak gyorsan meg kell szakadnia, ha a szerver elérhetetlen (10 másodperc elegendő), míg az olvasási időtúllépésnek elég türelmesnek kell lennie, hogy megvárja a modell gondolkodási folyamatát.
Kérések küldése
A szintaxis követi az szabványos OpenAI SDK formátumot, az await kulcsszó használatával:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Ugyanazt a struktúrát látod, mint az OpenAI API esetén: egy messages tömböt szerepekkel és tartalommal. A válasz sematikus felépítése is azonos, a response.choices[0].message.content útvonalon érhető el.
Hibakezelés httpx-szel
Az OpenAI SDK httpx-szel kombinálva specifikus kivételeket dob, amelyeket el kell kapnod:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
A három leggyakoribb kivétel az APITimeoutError (a modell nem válaszolt a rendelkezésre álló időn belül), a RateLimitError (túllépted az RPM/TPM korlátokat) és az APIConnectionError (hálózati hiba).
Mikor válaszd az AsyncOpenAI-t az xAI SDK helyett?
Az OpenAI SDK akkor előnyös, ha már rendelkezel OpenAI-kódbázissal, olyan harmadik féltől származó eszközöket használsz, amelyek kompatibilisek az OpenAI-val (pl. LangChain, LiteLLM), vagy szolgáltatót szeretnél váltani a kód módosítása nélkül. Ezzel szemben a natív xAI SDK közvetlenebb hozzáférést biztosít a Grok-specifikus funkciókhoz, mint például a beépített eszközökhöz.
Főbb megállapítások
- Az
AsyncOpenAIabase_url="https://api.x.ai/v1"beállítással működik az xAI API-val - A gondolkodó modellekhez kötelező a
httpx.Timeout(3600.0)használata - A kérés és a válasz formátuma megegyezik a szabványos OpenAI API-éval
- Az
APITimeoutError,RateLimitErrorésAPIConnectionErrorkivételek lefedik a főbb hibaeseteket - Ez a választás ideális meglévő kód újrahasznosítására vagy OpenAI-kompatibilis harmadik féltől származó eszközök integrálására