xAI SDK AsyncClient
Na tejto strane
Prečo prejsť na asynchrónny režim
Keď voláš xAI API synchronne, každé volanie zablokuje vykonávanie tvojho programu, kým nepríde odpoveď. Pri uvažovacom modeli, ako je grok-4.5, môže jeden požiadavok trvať niekoľko desiatok sekúnd. Ak potrebuješ spracovať 100 požiadaviek, celkový čas čakania sa stane neúnosným.
Asynchrónny režim tento problém rieši. Namiesto čakania na každú odpoveď tvoj program spustí požiadavku a pokračuje vo vykonávaní. Výsledok získaš neskôr, keď bude k dispozícii. Tento prístup ti umožňuje spracovávať viacero požiadaviek paralelne a plne využiť tvoju priepustnosť voči API.
Inicializácia AsyncClient
SDK xAI poskytuje triedu AsyncClient určenú špeciálne pre asynchrónne volania. Inicializácia je podobná ako pri synchronnom klientovi, s tým rozdielom, že parameter timeout musíš vždy nakonfigurovať:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
timeout=3600 zodpovedá jednej hodine. Táto hodnota sa môže zdať vysoká, ale je nevyhnutná pre uvažovacie modely, ktoré vykonávajú rozsiahle úvahy pred odpoveďou. Príliš krátky časový limit spôsobí chyby odpojenia pri zložitých požiadavkách.
Odoslanie asynchrónnej požiadavky
Po inicializácii klienta odosielaš požiadavky pomocou syntaxe await v Pythone:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Vstupný bod
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
Funkcia ask_grok používa async def, čo z nej robí korutínu. Volanie await chat.sample() pozastaví túto korutínu, kým nepríde odpoveď, bez blokovania iných potenciálnych úloh.
Rozdiel oproti synchronnému klientovi
Synchronný klient blokuje aktuálne vlákno počas celej doby trvania požiadavky. Asynchrónny klient uvoľní vlákno na vykonávanie iných korutín. Tento rozdiel nie je podstatný, ak odosielaš iba jednu požiadavku, ale stáva sa kritickým, keď spracovávaš viacero požiadaviek paralelne.
# Sync: každé volanie čaká na odpoveď
for question in questions:
response = client.chat.completions.create(...) # blokovanie
process(response)
# Async: volania bežia paralelne
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # paralelne
for r in responses:
process(r)
V synchronnom príklade, ak každá požiadavka trvá 10 sekúnd a máš ich 20, celkový čas je 200 sekúnd. V asynchrónnom režime so semaforom nastaveným na 5 (čo objavíš v nasledujúcich lekciách), čas klesne približne na 40 sekúnd.
Kľúčové poznatky
AsyncClientv xAI SDK ti umožňuje odosielať požiadavky bez blokovania vykonávania- Parameter
timeout=3600je nevyhnutný pre uvažovacie modely xai-sdkvyžaduje Python 3.10 alebo novší (verzia 1.21.0 k 2. novembru 2026 podľa PyPI)- Skutočný prínos sa prejaví pri paralelnom spracovávaní viacerých požiadaviek
asyncio.run()slúži ako vstupný bod na spustenie korutíny zo synchronného kódu