xAI SDK AsyncClient
Na ovoj stranici
Zašto prijeći na asinkroni rad
Kada sinkrono upućuješ upite xAI API-ju, svaki poziv blokira izvršavanje tvog programa dok ne stigne odgovor. Kod modela za rezoniranje poput grok-4.5, jedan zahtjev može trajati nekoliko desetaka sekundi. Ako trebaš obraditi 100 zahtjeva, ukupno vrijeme čekanja postaje neprihvatljivo.
Asinkroni način rješava taj problem. Umjesto da čekaš svaki odgovor, tvoj program pokreće zahtjev i nastavlja s izvršavanjem. Rezultat dohvaćaš kasnije, kada bude dostupan. Ovaj pristup omogućuje paralelnu obradu više zahtjeva i potpuno iskorištavanje propusnosti prema API-ju.
Inicijalizacija AsyncClienta
xAI SDK nudi razred AsyncClient namijenjen asinkronim pozivima. Inicijalizacija je slična onoj kod sinkronog klijenta, uz parametar timeout koji uvijek moraš konfigurirati:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
Vrijednost timeout=3600 jednaka je jednom satu. Ta vrijednost može djelovati visoko, ali je nužna za modele za rezoniranje koji provode opsežno razmišljanje prije odgovora. Prekratak vremenski limit uzrokuje pogreške prekida veze kod složenih zahtjeva.
Slanje asinkronog zahtjeva
Nakon što inicijaliziraš klijenta, zahtjeve šalješ koristeći Pythonovu sintaksu await:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Ulazna točka
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
Funkcija ask_grok koristi async def, što je čini korutinom. Poziv await chat.sample() suspendira tu korutinu dok ne stigne odgovor, bez blokiranja drugih potencijalnih zadataka.
Razlika u odnosu na sinkroni klijent
Sinkroni klijent blokira trenutnu nit tijekom cijelog trajanja zahtjeva. Asinkroni klijent oslobađa nit za izvršavanje drugih korutina. Ta razlika nije bitna ako šalješ samo jedan zahtjev, ali postaje ključna kada paralelno obrađuješ više zahtjeva.
# Sinkrono: svaki poziv čeka odgovor
for question in questions:
response = client.chat.completions.create(...) # blokirajuće
process(response)
# Asinkrono: pozivi se izvršavaju paralelno
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # paralelno
for r in responses:
process(r)
U sinkronom primjeru, ako svaki zahtjev traje 10 sekundi, a imaš ih 20, ukupno vrijeme iznosi 200 sekundi. U asinkronom načinu rada sa semaforom od 5 (što ćeš otkriti u kasnijim lekcijama), vrijeme se smanjuje na oko 40 sekundi.
Ključne točke
- xAI SDK
AsyncClientomogućuje slanje zahtjeva bez blokiranja izvršavanja - Parametar
timeout=3600ključan je za modele za rezoniranje xai-sdkzahtijeva Python 3.10 ili noviji (verzija 1.21.0 od 2. studenog 2026., prema PyPI-ju)- Stvarna prednost dolazi do izražaja pri paralelnoj obradi više zahtjeva
asyncio.run()služi kao ulazna točka za izvršavanje korutine iz sinkronog koda