xAI SDK AsyncClient
Na tej strani
Zakaj preklopiti na asinhrono delovanje
Ko poizveduješ v API xAI sinhrono, vsak klic blokira izvajanje tvojega programa, dokler ne prispe odgovor. Pri razmislevalnem modelu, kot je grok-4.5, lahko ena sama zahteva traja več deset sekund. Če moraš obdelati 100 zahtev, postane skupni čas čakanja nesprejemljiv.
Asinhroni način reši ta problem. Namesto čakanja na vsak odgovor tvoj program sproži zahtevo in nadaljuje z izvajanjem. Rezultat prejmeš kasneje, ko je na voljo. Ta pristop ti omogoča vzporedno obdelavo več zahtev in polno izkoriščanje pasovne širine do API-ja.
Inicializacija AsyncClient
SDK xAI ponuja razred AsyncClient, namenjen asinhronim klicem. Inicializacija je podobna sinhronemu odjemalcu, vendar moraš vedno nastaviti parameter timeout:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
timeout=3600 pomeni eno uro. Ta vrednost se morda zdi visoka, vendar je nujna za razmislevalne modele, ki pred odgovorom izvedejo dolgotrajno razmišljanje. Prekratek časovni limit povzroči napake prekinitve povezave pri kompleksnih zahtevah.
Pošiljanje asinhrone zahteve
Ko inicializiraš odjemalca, zahteve pošiljaš s sintakso await v Pythonu:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Vstopna točka
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
Funkcija ask_grok uporablja async def, kar jo naredi za korutino. Klic await chat.sample() začasno ustavi to korutino, dokler ne prispe odgovor, ne da bi blokirala druge potencialne naloge.
Razlika glede na sinhroni odjemalec
Sinhroni odjemalec blokira trenutno nit za celoten čas trajanja zahteve. Asinhroni odjemalec sprosti nit za izvajanje drugih korutin. Ta razlika ni pomembna, če pošiljaš le eno zahtevo, postane pa ključna pri vzporedni obdelavi več zahtev.
# Sinhrono: vsak klic čaka na odgovor
for question in questions:
response = client.chat.completions.create(...) # blokirajoče
process(response)
# Asinhrono: klici tečejo vzporedno
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # vzporedno
for r in responses:
process(r)
V sinhronem primeru, če vsaka zahteva traja 10 sekund in jih imaš 20, je skupni čas 200 sekund. V asinhronem načinu s semaforjem 5 (kar boš spoznal v kasnejših lekcijah), se čas skrajša na približno 40 sekund.
Ključne ugotovitve
AsyncClientv SDK xAI ti omogoča pošiljanje zahtev brez blokiranja izvajanja- Parameter
timeout=3600je bistven za razmislevalne modele xai-sdkzahteva Python 3.10 ali novejši (različica 1.21.0 z dne 2. novembra 2026, po podatkih PyPI)- Prava prednost se pokaže pri vzporedni obdelavi več zahtev
asyncio.run()služi kot vstopna točka za izvajanje korutine iz sinhronne kode