AsyncOpenAI ar httpx.Timeout
Šajā lapā
Alternatīva OpenAI SDK
Nativais xAI SDK nav tava vienīgā iespēja asinhronam darbam ar Grok API. OpenAI SDK, kas ir plaši pieņemts Python ekosistēmā, strādā arī ar xAI API formātu saderības dēļ. Šī pieeja ļauj atkārtoti izmantot esošo OpenAI kodu un pieslēgties apkārtējo rīku ekosistēmai.
Konfigurē AsyncOpenAI priekš xAI
Inicializācijai nepieciešami trīs parametri: tavs API atslēga, xAI bāzes URL un laika limits, kas pielāgots spriešanas modeļiem:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Šeit galvenā detaļa ir httpx.Timeout(3600.0). OpenAI SDK izmanto httpx kā savu zemā līmeņa HTTP klientu, un noklusējuma laika limits ir 10 minūtes. Grok spriešanas modeļiem tas jāpalielina līdz 3600 sekundēm (viena stunda), lai novērstu priekšlaicīgu savienojuma pārtraukšanu.
Izprast httpx.Timeout
Klase httpx.Timeout pieņem vairākus parametrus, kas kontrolē dažādas savienojuma fāzes:
# Vienots laika limits: 3600s visam
timeout = httpx.Timeout(3600.0)
# Detalizēts laika limits
timeout = httpx.Timeout(
connect=10.0, # sākotnējais savienojuma laika limits
read=3600.0, # atbildes lasīšanas laika limits
write=30.0, # pieprasījuma nosūtīšanas laika limits
pool=10.0 # gaidīšanas laiks līdz pieejamam savienojumam
)
Produkcijas vidē tu vari precīzi noregulēt šīs vērtības. Sākotnējam savienojumam vajadzētu ātri neizdoties, ja serveris nav sasniedzams (10 sekundes ir pietiekami), savukārt lasīšanas laika limitam jābūt pietiekami pacietīgam, lai sagaidītu modeļa spriešanas procesu.
Nosūtīt pieprasījumus
Sintakse atbilst standarta OpenAI SDK formātam, izmantojot await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Tu redzēsi tādu pašu struktūru kā OpenAI API: masīvu messages ar lomām un saturu. Atbilde atbilst tai pašai shēmai un ir pieejama caur response.choices[0].message.content.
Kļūdu apstrāde ar httpx
OpenAI SDK kopā ar httpx nodrošina specifiskus izņēmumus, kas tev jāaptver:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
Trīs biežāk sastopamie izņēmumi ir APITimeoutError (modelis neatbildēja atvēlētajā laikā), RateLimitError (tu pārsniedzi RPM/TPM limitus) un APIConnectionError (tīkla problēma).
Kad izvēlēties AsyncOpenAI nevis xAI SDK
OpenAI SDK ir piemērotāks, ja tev jau ir OpenAI koda bāze, izmanto trešo pušu rīkus, kas saderīgi ar OpenAI (LangChain, LiteLLM), vai vēlies pārslēgties starp sniedzējiem, nemainot savu kodu. Nativais xAI SDK tomēr piedāvā tiešāku piekļuvi Grok specifiskām funkcijām, piemēram, iebūvētiem rīkiem.
Galvenās atziņas
AsyncOpenAIstrādā ar xAI API, izmantojotbase_url="https://api.x.ai/v1"- Spriešanas modeļiem ir obligāts
httpx.Timeout(3600.0) - Pieprasījuma un atbildes formāts ir identisks standarta OpenAI API
- Izņēmumi
APITimeoutError,RateLimitErrorunAPIConnectionErroraptver galvenos kļūdu gadījumus - Šī izvēle ir ideāla esoša koda atkārtotai izmantošanai vai trešo pušu rīku, kas saderīgi ar OpenAI, integrēšanai