xAI SDK AsyncClient
Tällä sivulla
Miksi siirtyä asynkroniseen tilaan
Kun kysyt xAI-rajapinnalta synkronisesti, jokainen kutsu pysäyttää ohjelmasi suorituksen, kunnes vastaus saapuu. Päättelymallille kuten grok-4.5 yksittäinen pyyntö voi kestää useita kymmeniä sekunteja. Jos sinun täytyy käsitellä 100 pyyntöä, kokonaisodotusaika muodostuu kohtuuttomaksi.
Asynkroninen tila ratkaisee tämän ongelman. Ohjelmasi ei odota jokaista vastausta, vaan lähettää pyynnön ja jatkaa suorittamista. Haet tuloksen myöhemmin, kun se on saatavilla. Tämä lähestymistapa mahdollistaa useiden pyyntöjen rinnakkaisen käsittelyn ja API-yhteytesi kaistanleveyden täysimääräisen hyödyntämisen.
AsyncClientin alustus
xAI SDK tarjoaa asynkronisia kutsuja varten tarkoitetun AsyncClient-luokan. Alustus muistuttaa synkronista asiakasta, mutta sisältää timeout-parametrin, joka on aina määritettävä:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
timeout=3600 vastaa yhtä tuntia. Arvo saattaa vaikuttaa suurelta, mutta se on välttämätön päättelymalleille, jotka suorittavat laajoja päättelyprosesseja ennen vastaamista. Liian lyhyt aikakatkaisu aiheuttaa yhteyskatkovirheitä monimutkaisissa pyynnöissä.
Asynkronisen pyynnön lähettäminen
Kun olet alustanut asiakkaan, lähetät pyynnöt käyttämällä Pythonin await-syntaksia:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Entry point
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
ask_grok-funktio käyttää async def -määrettä, mikä tekee siitä korutiinin. await chat.sample() -kutsu keskeyttää tämän korutiinin vastauksen saapumiseen asti estämättä muita mahdollisia tehtäviä.
Ero synkroniseen asiakkaaseen
Synkroninen asiakas varaa nykyisen säikeen koko pyynnön ajaksi. Asynkroninen asiakas vapauttaa säikeen muiden korutiinien suorittamista varten. Tämä ero ei merkitse paljon, jos lähetät vain yhden pyynnön, mutta se muuttuu kriittiseksi käsitellessäsi useita pyyntöjä rinnakkain.
# Sync: each call waits for the response
for question in questions:
response = client.chat.completions.create(...) # blocking
process(response)
# Async: calls run in parallel
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # parallel
for r in responses:
process(r)
Synkronisessa esimerkissä, jos jokainen pyyntö kestää 10 sekuntia ja sinulla on 20 pyyntöä, kokonaisaika on 200 sekuntia. Asynkronisessa tilassa, jossa käytetään semaforia 5 (johon perehdyt myöhemmissä oppitunneissa), aika lyhenee noin 40 sekuntiin.
Keskeiset asiat
- xAI SDK:n
AsyncClientmahdollistaa pyyntöjen lähettämisen estämättä suorittamista timeout=3600-parametri on välttämätön päättelymalleillexai-sdkvaatii Python-versiota 3.10 tai uudempaa (versio 1.21.0 PyPI:ssä 2. marraskuuta 2026)- Todellinen hyöty ilmenee useiden pyyntöjen rinnakkaisessa käsittelyssä
asyncio.run()toimii sisäänmenopisteenä korutiinin suorittamiselle synkronisesta koodista