AsyncOpenAI koos httpx.Timeoutiga
Sellel lehel
OpenAI SDK alternatiiv
Natiivne xAI SDK pole ainus võimalus asünkroonseks tööks Grok API-ga. OpenAI SDK, mida Pythoni ökosüsteemis laialdaselt kasutatakse, toimib xAI API-ga vormingu ühilduvuse tõttu. See lähenemine võimaldab sul taaskasutada olemasolevat OpenAI koodi ja kasutada ümbritsevat tööriistade ökosüsteemi.
AsyncOpenAI seadistamine xAI jaoks
Lähtestamine nõuab kolme parameetrit: sinu API-võti, xAI baas-URL ja arutlusmudelite jaoks kohandatud aegumine:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Siin on võtmeks httpx.Timeout(3600.0). OpenAI SDK kasutab oma aluseks oleva HTTP-kliendina httpx-i ja vaikimisi aegumine on 10 minutit. Groki arutlusmudelite puhul pead selle suurendama 3600 sekundini (üks tund), et vältida enneaegseid ühenduse katkemisi.
httpx.Timeout mõistmine
Klass httpx.Timeout aktsepteerib mitut parameetrit, mis kontrollivad ühenduse erinevaid faase:
# Ühtne aegumine: 3600s kõige jaoks
timeout = httpx.Timeout(3600.0)
# Detailne aegumine
timeout = httpx.Timeout(
connect=10.0, # esialgne ühenduse aegumine
read=3600.0, # vastuse lugemise aegumine
write=30.0, # päringu saatmise aegumine
pool=10.0 # ooteaeg vaba ühenduse järele
)
Tootmiskeskkonnas saad neid väärtusi täpsemalt häälestada. Esialgne ühendus peaks ebaõnnestuma kiiresti, kui server pole kättesaadav (10 sekundit on piisav), samas kui lugemise aegumine peab olema kannatlik, et oodata mudeli arutlust.
Päringute saatmine
Süntaks järgib standardset OpenAI SDK vormingut, kasutades await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Näed sama struktuuri mis OpenAI API-l: massiiv messages koos rollide ja sisuga. Vastus järgib sama skeemi, millele pääsed ligi kaudu response.choices[0].message.content.
Veakäsitlus httpx-iga
OpenAI SDK koos httpx-iga pakub spetsiifilisi erandeid, mida pead püüdma:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
Kolm levinumat erandit on APITimeoutError (mudel ei vastanud eraldatud aja jooksul), RateLimitError (ületasid RPM/TPM piirangud) ja APIConnectionError (võrguprobleem).
Millal valida AsyncOpenAI xAI SDK asemel
OpenAI SDK on eelistatav, kui sul on juba olemas OpenAI koodibaas, kasutad OpenAI-ga ühilduvaid kolmandate osapoolte tööriistu (LangChain, LiteLLM) või soovid vahetada pakkujaid koodi muutmata. Natiivne xAI SDK pakub aga otsest juurdepääsu Groki-spetsiifilistele funktsioonidele, nagu sisseehitatud tööriistad.
Peamised punktid
AsyncOpenAItoimib xAI API-ga kasutadesbase_url="https://api.x.ai/v1"- Arutlusmudelite jaoks on vajalik
httpx.Timeout(3600.0) - Päringu ja vastuse vorming on identne standardse OpenAI API-ga
- Erandid
APITimeoutError,RateLimitErrorjaAPIConnectionErrorkatavad peamised veajuhtumid - See valik on ideaalne olemasoleva koodi taaskasutamiseks või OpenAI-ga ühilduvate kolmandate osapoolte tööriistade integreerimiseks