xAI SDK AsyncClient
Šiame puslapyje
Kodėl verta pereiti prie asinchroninio režimo
Kai užklausas xAI API siunčiame sinchroniniu būdu, kiekvienas iškvietimas sustabdo programos vykdymą, kol gaunamas atsakymas. Tokiam samprotavimo modeliui kaip „grok-4.5“ viena užklausa gali užtrukti keliasdešimt sekundžių. Jei reikia apdoroti 100 užklausų, bendras laukimo laikas tampa nepriimtinas.
Asinchroninis režimas šią problemą išsprendžia. Užuot laukęs kiekvieno atsakymo, tavo programa išsiunčia užklausą ir tęsia darbą. Rezultatą gauni vėliau, kai jis būna paruoštas. Šis požiūris leidžia vienu metu apdoroti kelias užklausas ir maksimaliai išnaudoti tavo turimą pralaidumą API sąsajoje.
„AsyncClient“ inicializavimas
xAI SDK pateikia „AsyncClient“ klasę, skirtą asinchroniniams iškvietimams. Inicializavimas panašus į sinchroninio kliento, tačiau būtina nustatyti parametrą timeout:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
timeout=3600 reiškia vieną valandą. Ši vertė gali atrodyti didelė, tačiau ji būtina samprotavimo modeliams, kurie prieš pateikdami atsakymą atlieka ilgus samprotavimus. Per trumpa laiko riba sudėtingoms užklausoms sukels ryšio nutrūkimo klaidas.
Asinchroninės užklausos siuntimas
Inicializavęs klientą, užklausas siunti naudodamas Python sintaksę await:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Įvesties taškas
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
Funkcija ask_grok naudoja async def, todėl ji yra korutina. Iškvietimas await chat.sample() sustabdo šią korutiną, kol gaunamas atsakymas, tačiau neužblokuoja kitų galimų užduočių.
Skirtumai, palyginti su sinchroniniu klientu
Sinchroninis klientas visos užklausos trukmės metu blokuoja dabartinę giją. Asinchroninis klientas atlaisvina giją, kad ji galėtų vykdyti kitas korutinas. Jei siunti tik vieną užklausą, šis skirtumas nėra svarbus, tačiau apdorojant kelias užklausas lygiagrečiai jis tampa kritinis.
# Sinchroninis: kiekvienas iškvietimas laukia atsakymo
for question in questions:
response = client.chat.completions.create(...) # blokuojantis
process(response)
# Asinchroninis: iškvietimai vykdomi lygiagrečiai
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # lygiagretusis vykdymas
for r in responses:
process(r)
Sinchroniniame pavyzdyje, jei kiekviena užklausa trunka 10 sekundžių ir jų yra 20, bendras laikas sudaro 200 sekundžių. Asinchroniniu režimu, naudojant semaforą su 5 leidimais (ką nagrinėsi vėlesnėse pamokose), laikas sutrumpėja iki maždaug 40 sekundžių.
Svarbiausi punktai
- xAI SDK „AsyncClient“ leidžia siųsti užklausas nestabdant vykdymo
- Parametras
timeout=3600yra būtinas samprotavimo modeliams - „xai-sdk“ reikalauja Python 3.10 arba naujesnės versijos (nuo 2026 m. lapkričio 2 d. PyPI pateikiama 1.21.0 versija)
- Tikroji nauda atsiskleidžia apdorojant kelias užklausas lygiagrečiai
asyncio.run()tarnauja kaip įvesties taškas korutinai vykdyti iš sinchroninio kodo