Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

xAI SDK AsyncClient

Paskaita 1 iš 12 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Kodėl verta pereiti prie asinchroninio režimo
  2. „AsyncClient“ inicializavimas
  3. Asinchroninės užklausos siuntimas
  4. Skirtumai, palyginti su sinchroniniu klientu
  5. Svarbiausi punktai

Kodėl verta pereiti prie asinchroninio režimo

Kai užklausas xAI API siunčiame sinchroniniu būdu, kiekvienas iškvietimas sustabdo programos vykdymą, kol gaunamas atsakymas. Tokiam samprotavimo modeliui kaip „grok-4.5“ viena užklausa gali užtrukti keliasdešimt sekundžių. Jei reikia apdoroti 100 užklausų, bendras laukimo laikas tampa nepriimtinas.

Asinchroninis režimas šią problemą išsprendžia. Užuot laukęs kiekvieno atsakymo, tavo programa išsiunčia užklausą ir tęsia darbą. Rezultatą gauni vėliau, kai jis būna paruoštas. Šis požiūris leidžia vienu metu apdoroti kelias užklausas ir maksimaliai išnaudoti tavo turimą pralaidumą API sąsajoje.

3600s
Rekomenduojama laiko riba
5x
Lygiagretusis pralaidumas
-50%
Alternatyva paketiniam API
RPM
Laikytinas užklausų dažnio limitas

„AsyncClient“ inicializavimas

xAI SDK pateikia „AsyncClient“ klasę, skirtą asinchroniniams iškvietimams. Inicializavimas panašus į sinchroninio kliento, tačiau būtina nustatyti parametrą timeout:

import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user

client = AsyncClient(
    api_key=os.getenv("XAI_API_KEY"),
    timeout=3600,
)

timeout=3600 reiškia vieną valandą. Ši vertė gali atrodyti didelė, tačiau ji būtina samprotavimo modeliams, kurie prieš pateikdami atsakymą atlieka ilgus samprotavimus. Per trumpa laiko riba sudėtingoms užklausoms sukels ryšio nutrūkimo klaidas.

Asinchroninės užklausos siuntimas

Inicializavęs klientą, užklausas siunti naudodamas Python sintaksę await:

import asyncio

async def ask_grok(question: str) -> str:
    chat = client.chat.create(
        model="grok-4.20-0309-reasoning",
        max_tokens=500
    )
    chat.append(user(question))
    response = await chat.sample()
    return response.text

# Įvesties taškas
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)

Funkcija ask_grok naudoja async def, todėl ji yra korutina. Iškvietimas await chat.sample() sustabdo šią korutiną, kol gaunamas atsakymas, tačiau neužblokuoja kitų galimų užduočių.

Skirtumai, palyginti su sinchroniniu klientu

Sinchroninis klientas visos užklausos trukmės metu blokuoja dabartinę giją. Asinchroninis klientas atlaisvina giją, kad ji galėtų vykdyti kitas korutinas. Jei siunti tik vieną užklausą, šis skirtumas nėra svarbus, tačiau apdorojant kelias užklausas lygiagrečiai jis tampa kritinis.

# Sinchroninis: kiekvienas iškvietimas laukia atsakymo
for question in questions:
    response = client.chat.completions.create(...)  # blokuojantis
    process(response)

# Asinchroninis: iškvietimai vykdomi lygiagrečiai
async def main():
    tasks = [ask_grok(q) for q in questions]
    responses = await asyncio.gather(*tasks)  # lygiagretusis vykdymas
    for r in responses:
        process(r)

Sinchroniniame pavyzdyje, jei kiekviena užklausa trunka 10 sekundžių ir jų yra 20, bendras laikas sudaro 200 sekundžių. Asinchroniniu režimu, naudojant semaforą su 5 leidimais (ką nagrinėsi vėlesnėse pamokose), laikas sutrumpėja iki maždaug 40 sekundžių.

Svarbiausi punktai

  • xAI SDK „AsyncClient“ leidžia siųsti užklausas nestabdant vykdymo
  • Parametras timeout=3600 yra būtinas samprotavimo modeliams
  • „xai-sdk“ reikalauja Python 3.10 arba naujesnės versijos (nuo 2026 m. lapkričio 2 d. PyPI pateikiama 1.21.0 versija)
  • Tikroji nauda atsiskleidžia apdorojant kelias užklausas lygiagrečiai
  • asyncio.run() tarnauja kaip įvesties taškas korutinai vykdyti iš sinchroninio kodo