AsyncOpenAI ja httpx.Timeout
Tällä sivulla
Vaihtoehto OpenAI SDK:lle
Natiivi xAI SDK ei ole ainoa vaihtoehtosi asynkroniseen työskentelyyn Grok-apin kanssa. Python-ekosysteemissä laajalti käytetty OpenAI SDK toimii myös xAI-apin kanssa muotoyhteensopivuuden ansiosta. Tämä lähestymistapa antaa sinun käyttää uudelleen olemassa olevaa OpenAI-koodia ja hyödyntää ympäröivää työkaluekosysteemiä.
AsyncOpenAI:n konfigurointi xAI:ta varten
Alustus vaatii kolme parametria: API-avaimesi, xAI:n perus-URL:n ja päättelymalleille säädetyn aikakatkaisun:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Tässä keskeinen yksityiskohta on httpx.Timeout(3600.0). OpenAI SDK käyttää httpx:ää taustalla olevana HTTP-asiakkaana, ja oletusaikakatkaisu on 10 minuuttia. Grok-päättelymalleja varten sinun on nostettava tämä arvo 3600 sekuntiin (yksi tunti) ennenaikaisten katkosten estämiseksi.
httpx.Timeout:n ymmärtäminen
httpx.Timeout-luokka hyväksyy useita parametreja, jotka ohjaavat yhteyden eri vaiheita:
# Yhtenäinen aikakatkaisu: 3600s kaikelle
timeout = httpx.Timeout(3600.0)
# Hienojakoinen aikakatkaisu
timeout = httpx.Timeout(
connect=10.0, # alkuperäinen yhteysaikakatkaisu
read=3600.0, # vastauksen lukuaikakatkaisu
write=30.0, # pyynnön lähetysaikakatkaisu
pool=10.0 # odotusaika vapaalle yhteydelle
)
Tuotantoympäristössä voit hienosäätää näitä arvoja. Alkuperäisen yhteyden pitäisi epäonnistua nopeasti, jos palvelin ei ole tavoitettavissa (10 sekuntia riittää), kun taas lukuaikakatkaisun on oltava tarpeeksi kärsivällinen odottamaan mallin päättelyä.
Pyyntöjen lähettäminen
Syntaksi noudattaa vakiomuotoista OpenAI SDK -formaattia käyttäen await:ia:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Näet saman rakenteen kuin OpenAI-apissa: messages-taulukko rooleineen ja sisältöineen. Vastaus noudattaa samaa skeemaa, ja siihen pääset käsiksi kohdassa response.choices[0].message.content.
Virheenkäsittely httpx:n kanssa
OpenAI SDK httpx:n kanssa tarjoaa tiettyjä poikkeuksia, jotka sinun on siepattava:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
Kolme yleisintä poikkeusta ovat APITimeoutError (malli ei vastannut varatussa ajassa), RateLimitError (yritit RPM/TPM-rajoja) ja APIConnectionError (verkkovirhe).
Milloin valita AsyncOpenAI xAI SDK:n sijaan?
OpenAI SDK on suositeltava, jos sinulla on jo OpenAI-koodipohja, käytät OpenAI-yhteensopivia kolmansien osapuolten työkaluja (kuten LangChain tai LiteLLM) tai haluat vaihtaa tarjoajien välillä muuttamatta koodiasi. Natiivi xAI SDK tarjoaa kuitenkin suoraviivaisemman pääsyn Grok-kohtaisiin ominaisuuksiin, kuten sisäänrakennettuihin työkaluihin.
Keskeiset asiat
AsyncOpenAItoimii xAI-apin kanssa käyttäenbase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)on vaadittu päättelymalleja varten- Pyyntöjen ja vastausten muoto on identtinen vakio-OpenAI-apin kanssa
- Poikkeukset
APITimeoutError,RateLimitErrorjaAPIConnectionErrorkattavat tärkeimmät virhetilanteet - Tämä valinta on ihanteellinen olemassa olevan koodin uudelleenkäyttöön tai OpenAI-yhteensopivien kolmansien osapuolten työkalujen integrointiin