xAI SDK AsyncClient
Na této stránce
Proč přejít na asynchronní režim
Když dotazuješ rozhraní xAI API synchronně, každý požadavek zablokuje běh tvého programu, dokud nedorazí odpověď. U uvažovacích modelů, jako je grok-4.5, může jeden požadavek trvat několik desítek sekund. Pokud potřebuješ zpracovat 100 požadavků, celková doba čekání se stane neúnosnou.
Asynchronní režim tento problém řeší. Místo čekání na každou odpověď tvůj program spustí požadavek a pokračuje ve vykonávání kódu. Výsledek získáš až později, když bude k dispozici. Tento přístup ti umožňuje zpracovávat více požadavků paralelně a plně využít dostupnou šířku pásma pro komunikaci s API.
Inicializace AsyncClient
SDK xAI poskytuje třídu AsyncClient určenou speciálně pro asynchronní volání. Inicializace je podobná jako u synchronního klienta, s tím rozdílem, že musíš vždy nakonfigurovat parametr timeout:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
Hodnota timeout=3600 odpovídá jedné hodině. Tato hodnota se může zdát vysoká, ale je nezbytná pro uvažovací modely, které před odpovědí provádějí rozsáhlé úvahy. Příliš krátký časový limit způsobí chyby přerušení připojení u složitých požadavků.
Odeslání asynchronního požadavku
Jakmile klienta inicializuješ, odesíláš požadavky pomocí syntaxe await v Pythonu:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Vstupní bod
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
Funkce ask_grok používá async def, což z ní dělá korutinu. Volání await chat.sample() pozastaví tuto korutinu, dokud nedorazí odpověď, aniž by blokovalo jiné potenciální úlohy.
Rozdíl oproti synchronnímu klientovi
Synchronní klient blokuje aktuální vlákno po celou dobu trvání požadavku. Asynchronní klient uvolní vlákno pro vykonávání dalších korutin. Tento rozdíl není podstatný, pokud odesíláš pouze jeden požadavek, ale stává se kritickým, když zpracováváš více požadavků paralelně.
# Sync: každé volání čeká na odpověď
for question in questions:
response = client.chat.completions.create(...) # blokování
process(response)
# Async: volání běží paralelně
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # paralelně
for r in responses:
process(r)
V synchronním příkladu, pokud každý požadavek trvá 10 sekund a máš jich 20, celkový čas je 200 sekund. V asynchronním režimu se semaforem nastaveným na 5 (což objevíš v pozdějších lekcích), se čas sníží přibližně na 40 sekund.
Klíčové poznatky
AsyncClientz xAI SDK ti umožňuje odesílat požadavky bez blokování execution- Parametr
timeout=3600je zásadní pro uvažovací modely xai-sdkvyžaduje Python 3.10 nebo novější (verze 1.21.0 k 2. listopadu 2026 podle PyPI)- Skutečný přínos se projeví při paralelním zpracování více požadavků
asyncio.run()slouží jako vstupní bod pro spuštění korutiny ze synchronního kódu