AsyncOpenAI s httpx.Timeout
Na tej strani
Alternativa SDK-ju OpenAI
Nativni SDK xAI ni tvoja edina možnost za asinhrono delo z API-jem Grok. SDK OpenAI, ki je široko sprejet v ekosistemu Pythona, deluje z API-jem xAI zaradi združljivosti formatov. Ta pristop ti omogoča ponovno uporabo obstoječe kode za OpenAI in izkoriščanje okoliškega orodnega ekosistema.
Konfiguracija AsyncOpenAI za xAI
Inicializacija zahteva tri parametre: tvoj API ključ, osnovni URL xAI in časovno omejitev, prilagojeno za modele razmišljanja:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Ključna podrobnost tukaj je httpx.Timeout(3600.0). SDK OpenAI uporablja httpx kot svoj osnovni HTTP odjemalec, privzeta časovna omejitev pa znaša 10 minut. Za modele razmišljanja Grok moraš to povečati na 3600 sekund (eno uro), da preprečiš prezgodnje prekinitve povezave.
Razumevanje httpx.Timeout
Razred httpx.Timeout sprejme več parametrov, ki nadzorujejo različne faze povezave:
# Enotna časovna omejitev: 3600 s za vse
timeout = httpx.Timeout(3600.0)
# Podrobna časovna omejitev
timeout = httpx.Timeout(
connect=10.0, # časovna omejitev za začetno povezavo
read=3600.0, # časovna omejitev za branje odgovora
write=30.0, # časovna omejitev za pošiljanje zahteve
pool=10.0 # čas čakanja na prosto povezavo
)
V produkcijskem okolju lahko te vrednosti natančno prilagodiš. Začetna povezava naj hitro odpove, če strežnik ni dosegljiv (10 sekund je dovolj), medtem ko mora biti časovna omejitev za branje dovolj potrpežljiva, da počaka na razmišljanje modela.
Pošiljanje zahtev
Sintaksa sledi standardnemu formatu SDK-ja OpenAI z uporabo await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Videl boš enako strukturo kot pri API-ju OpenAI: polje messages z vlogami in vsebino. Odgovor sledi isti shemi in je dostopen prek response.choices[0].message.content.
Obravnava napak s httpx
SDK OpenAI s httpx ponuja specifične izjeme, ki jih moraš zajeti:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Časovna omejitev presežena—zahteva je trajala predolgo")
return None
except RateLimitError:
print("Dosežena omejitev hitrosti—upocasi zahteve")
return None
except APIConnectionError:
print("Povezave s strežnikom xAI ni mogoče vzpostaviti")
return None
Tri najpogostejše izjeme so APITimeoutError (model ni odgovoril v določenem času), RateLimitError (prekoračil si omejitve RPM/TPM) in APIConnectionError (težava z omrežjem).
Kdaj izbrati AsyncOpenAI namesto SDK-ja xAI
SDK OpenAI je primernejši, če že imaš kodo za OpenAI, uporabljaš orodja tretjih strani, združljiva z OpenAI (LangChain, LiteLLM), ali želiš menjati ponudnike brez spreminjanja kode. Nativni SDK xAI pa ponuja bolj neposreden dostop do funkcij, specifičnih za Grok, kot so vgrajena orodja.
Ključne ugotovitve
AsyncOpenAIdeluje z API-jem xAI prekbase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)je obvezen za modele razmišljanja- Format zahtev in odgovorov je identičen standardnemu API-ju OpenAI
- Izjeme
APITimeoutError,RateLimitErrorinAPIConnectionErrorpokrivajo glavne primere napak - Ta izbira je idealna za ponovno uporabo obstoječe kode ali integracijo orodij tretjih strani, združljivih z OpenAI