AsyncOpenAI su httpx.Timeout
Šiame puslapyje
Alternatyva „OpenAI“ SDK
Natyvusis xAI SDK nėra vienintelis būdas dirbti asinchroniškai su „Grok“ API. „OpenAI“ SDK, plačiai naudojamas „Python“ ekosistemoje, veikia su xAI API dėl formato suderinamumo. Šis požiūris leidžia pakartotinai naudoti esamą „OpenAI“ kodą ir pasinaudoti aplinkine įrankių ekosistema.
„AsyncOpenAI“ konfigūravimas xAI
Inicializavimui reikia trijų parametrų: tavo API rakto, xAI bazinio URL ir laiko limito, pritaikyto samprotavimo modeliams:
from openai import AsyncOpenAI
import httpx
client = AsyncOpenAI(
api_key=os.getenv("XAI_API_KEY"),
base_url="https://api.x.ai/v1",
timeout=httpx.Timeout(3600.0)
)
Svarbiausia čia yra httpx.Timeout(3600.0). „OpenAI“ SDK naudoja httpx kaip pagrindinį HTTP klientą, o numatytasis laiko limitas yra 10 minučių. „Grok“ samprotavimo modeliams šį laiką reikia padidinti iki 3600 sekundžių (vienos valandos), kad išvengtum priešlaikinio ryšio nutraukimo.
Suprask httpx.Timeout
httpx.Timeout klasė priima kelis parametrus, valdančius skirtingas ryšio fazes:
# Vienodas laiko limitas: 3600 s viskam
timeout = httpx.Timeout(3600.0)
# Detalizuotas laiko limitas
timeout = httpx.Timeout(
connect=10.0, # pradinio prisijungimo laiko limitas
read=3600.0, # atsakymo nuskaitymo laiko limitas
write=30.0, # užklausos siuntimo laiko limitas
pool=10.0 # laukimo laikas, kol atsiras laisvas ryšys
)
Gamybinėje aplinkoje šias reikšmes gali tiksliai sureguliuoti. Pradinis prisijungimas turi greitai nepavykti, jei serveris nepasiekiamas (pakanka 10 sekundžių), tuo tarpu skaitymo laiko limitas turi būti pakankamai kantrus, kad palauktų modelio samprotavimo.
Siųsk užklausas
Sintaksė atitinka standartinį „OpenAI“ SDK formatą, naudojant await:
import asyncio
async def query_grok(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))
Matysi tą pačią struktūrą kaip ir „OpenAI“ API: masyvą messages su vaidmenimis ir turiniu. Atsakymas laikosi tos pačios schemos ir yra pasiekiamas per response.choices[0].message.content.
Klaidų apdorojimas su httpx
„OpenAI“ SDK su httpx pateikia specifines išimtis, kurias turi sugauti:
from openai import APITimeoutError, APIConnectionError, RateLimitError
async def safe_query(prompt: str) -> str | None:
try:
response = await client.chat.completions.create(
model="grok-4.20-0309-reasoning",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except APITimeoutError:
print("Timeout exceeded—request took too long")
return None
except RateLimitError:
print("Rate limit reached—slow down requests")
return None
except APIConnectionError:
print("Cannot connect to xAI server")
return None
Trys dažniausiai pasitaikančios išimtys yra APITimeoutError (modelis neatsakė per skirtą laiką), RateLimitError (viršijai RPM/TPM limitus) ir APIConnectionError (tinklo problema).
Kada rinktis „AsyncOpenAI“, o ne xAI SDK
„OpenAI“ SDK yra geresnis pasirinkimas, jei jau turi „OpenAI“ kodų bazę, naudoji trečiųjų šalių įrankius, suderinamus su „OpenAI“ („LangChain“, „LiteLLM“), arba nori keisti tiekėjus nemodifikuodamas kodo. Tačiau natyvusis xAI SDK suteikia tiesioginesnę prieigą prie „Grok“ specifinių funkcijų, pavyzdžiui, integruotų įrankių.
Svarbiausi punktai
AsyncOpenAIveikia su xAI API naudojantbase_url="https://api.x.ai/v1"- Samprotavimo modeliams būtinas
httpx.Timeout(3600.0) - Užklausos ir atsakymo formatas yra identiškas standartiniam „OpenAI“ API
- Išimtys
APITimeoutError,RateLimitErrorirAPIConnectionErrorapima pagrindines klaidų situacijas - Šis pasirinkimas idealus pakartotinai naudojant esamą kodą arba integruojant trečiųjų šalių įrankius, suderinamus su „OpenAI“