AsyncOpenAI cu httpx.Timeout
Pe această pagină
Alternativa la SDK-ul nativ xAI
SDK-ul nativ xAI nu este singura opțiune pentru lucrul asincron cu API-ul Grok. SDK-ul OpenAI, larg adoptat în ecosistemul Python, funcționează cu API-ul xAI datorită compatibilității formatelor. Această abordare vă permite să reutilizați codul OpenAI existent și să accesați ecosistemul de instrumente din jur.
Configurarea AsyncOpenAI pentru xAI
Inițializarea necesită trei parametri: cheia dvs. API, URL-ul de bază xAI și un timeout ajustat pentru modelele de raționament:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Detaliul cheie aici este httpx.Timeout(3600.0). SDK-ul OpenAI folosește httpx ca client HTTP subiacent, iar timeout-ul implicit este de 10 minute. Pentru modelele de raționament Grok, trebuie să măriți această valoare la 3600 de secunde (o oră) pentru a preveni deconectările premature.
Înțelegerea httpx.Timeout
Clasa httpx.Timeout acceptă mai mulți parametri care controlează diferite faze ale conexiunii:
# Timeout uniform: 3600s pentru totul
timeout = httpx.Timeout(3600.0)
# Timeout granular
timeout = httpx.Timeout(
connect=10.0, # timeout inițial de conexiune
read=3600.0, # timeout de citire a răspunsului
write=30.0, # timeout de trimitere a cererii
pool=10.0 # timp de așteptare pentru o conexiune liberă
)
În producție, puteți ajusta fin aceste valori. Conexiunea inițială ar trebui să eșueze rapid dacă serverul este inaccesibil (10 secunde sunt suficiente), în timp ce timeout-ul de citire trebuie să fie suficient de pacient pentru a aștepta raționamentul modelului.
Trimiterea cererilor
Sintaxa urmează formatul standard al SDK-ului OpenAI, folosind await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Veți observa aceeași structură ca în API-ul OpenAI: un tablou messages cu roluri și conținut. Răspunsul respectă aceeași schemă, accesibilă prin response.choices[0].message.content.
Gestionarea erorilor cu httpx
SDK-ul OpenAI cu httpx oferă excepții specifice pe care trebuie să le capturați:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout depășit—cererea a durat prea mult")
return None
except RateLimitError:
print("Limită de rată atinsă—reduceți viteza cererilor")
return None
except APIConnectionError:
print("Nu se poate conecta la serverul xAI")
return None
Cele trei excepții cele mai frecvente sunt APITimeoutError (modelul nu a răspuns în timpul alocat), RateLimitError (ați depășit limitele RPM/TPM) și APIConnectionError (problemă de rețea).
Când să alegeți AsyncOpenAI în locul SDK-ului xAI
SDK-ul OpenAI este preferabil dacă aveți deja o bază de cod OpenAI, utilizați instrumente terțe compatibile cu OpenAI (LangChain, LiteLLM) sau doriți să comutați între furnizori fără a modifica codul. SDK-ul nativ xAI, totuși, oferă un acces mai direct la funcțiile specifice Grok, cum ar fi instrumentele integrate.
Puncte cheie
AsyncOpenAIfuncționează cu API-ul xAI prinbase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)este necesar pentru modelele de raționament- Formatul cererii și al răspunsului este identic cu API-ul standard OpenAI
- Excepțiile
APITimeoutError,RateLimitErrorșiAPIConnectionErroracoperă principalele cazuri de eroare - Această alegere este ideală pentru reutilizarea codului existent sau integrarea instrumentelor terțe compatibile cu OpenAI