AsyncOpenAI s httpx.Timeout
Na ovoj stranici
Alternativa OpenAI SDK-ju
Izvorni xAI SDK nije tvoja jedina opcija za asinkroni rad s Grok API-jem. OpenAI SDK, široko prihvaćen u Python ekosustavu, funkcionira s xAI API-jem zahvaljujući kompatibilnosti formata. Ovaj pristup omogućuje ti ponovnu upotrebu postojećeg OpenAI koda i korištenje alata iz okolnog ekosustava.
Konfiguracija AsyncOpenAI za xAI
Inicijalizacija zahtijeva tri parametra: tvoj API ključ, osnovni URL xAI-ja i vremensko ograničenje prilagođeno modelima za rezoniranje:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Ključni detalj ovdje je httpx.Timeout(3600.0). OpenAI SDK koristi httpx kao svoj temeljni HTTP klijent, a zadano vremensko ograničenje iznosi 10 minuta. Za Grok modele za rezoniranje moraš ga povećati na 3600 sekundi (jedan sat) kako bi spriječio prerano prekidanje veze.
Razumijevanje httpx.Timeout
Klasa httpx.Timeout prihvaća nekoliko parametara koji kontroliraju različite faze povezivanja:
# Jednoliko vremensko ograničenje: 3600s za sve
timeout = httpx.Timeout(3600.0)
# Detaljno vremensko ograničenje
timeout = httpx.Timeout(
connect=10.0, # početno vremensko ograničenje za povezivanje
read=3600.0, # vremensko ograničenje za čitanje odgovora
write=30.0, # vremensko ograničenje za slanje zahtjeva
pool=10.0 # vrijeme čekanja za slobodnu vezu
)
U produkcijskom okruženju možeš fino podesiti ove vrijednosti. Početno povezivanje treba brzo failati ako je poslužitelj nedostupan (10 sekundi je dovoljno), dok vremensko ograničenje za čitanje mora biti dovoljno strpljivo da pričekaa rezoniranje modela.
Slanje zahtjeva
Sintaksa prati standardni format OpenAI SDK-ja koristeći await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Vidjet ćeš istu strukturu kao kod OpenAI API-ja: polje messages s ulogama i sadržajem. Odgovor slijedi istu shemu, dostupnu putem response.choices[0].message.content.
Rukovanje greškama s httpx
OpenAI SDK s httpxom pruža specifične iznimke koje moraš uhvatiti:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Vremensko ograničenje premašeno—zahtjev je trajao predugo")
return None
except RateLimitError:
print("Dosegnuto ograničenje stope—uspori zahtjeve")
return None
except APIConnectionError:
print("Nemoguće povezivanje s xAI poslužiteljem")
return None
Tri najčešće iznimke su APITimeoutError (model nije odgovorio u dodijeljenom vremenu), RateLimitError (premašio/la si RPM/TPM ograničenja) i APIConnectionError (mrežni problem).
Kada odabrati AsyncOpenAI umjesto xAI SDK-ja
OpenAI SDK je poželjniji ako već imaš OpenAI codebase, koristiš alate trećih strana kompatibilne s OpenAI-jem (LangChain, LiteLLM) ili želiš mijenjati pružatelje usluga bez modificiranja koda. Izvorni xAI SDK, međutim, nudi izravniji pristup značajkama specifičnima za Grok, poput ugrađenih alata.
Ključne točke
AsyncOpenAIradi s xAI API-jem putembase_url="https://api.x.ai/v1"httpx.Timeout(3600.0)je obavezan za modele za rezoniranje- Format zahtjeva i odgovora identičan je standardnom OpenAI API-ju
- Iznimke
APITimeoutError,RateLimitErroriAPIConnectionErrorpokrivaju glavne slučajeve grešaka - Ovaj izbor je idealan za ponovnu upotrebu postojećeg koda ili integraciju alata trećih strana kompatibilnih s OpenAI-jem