xAI SDK AsyncClient
Pe această pagină
De ce să treceți la asincron
Când interogați API-ul xAI în mod sincron, fiecare apel blochează execuția programului dumneavoastră până la sosirea răspunsului. Pentru un model de raționament precum grok-4.5, o singură cerere poate dura câteva zeci de secunde. Dacă trebuie să procesați 100 de cereri, timpul total de așteptare devine prohibitiv.
Modul asincron rezolvă această problemă. În loc să așteptați fiecare răspuns, programul dumneavoastră lansează cererea și își continuă execuția. Preluati rezultatul mai târziu, când este disponibil. Această abordare vă permite să procesați multiple cereri în paralel și să utilizați la maximum lățimea de bandă către API.
Inițializarea AsyncClient
SDK-ul xAI oferă clasa AsyncClient dedicată apelurilor asincrone. Inițializarea este similară cu cea a clientului sincron, cu un parametru timeout pe care trebuie să îl configurați întotdeauna:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
timeout=3600 echivalează cu o oră. Această valoare poate părea ridicată, dar este necesară pentru modelele de raționament care efectuează procese de gândire extinse înainte de a răspunde. Un timeout prea scurt provoacă erori de întrerupere a conexiunii la cererile complexe.
Trimiterea unei cereri asincrone
Odată ce ați inițializat clientul, trimiteți cereri folosind sintaxa await din Python:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Punct de intrare
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
Funcția ask_grok utilizează async def, ceea ce o transformă într-o corutină. Apelul await chat.sample() suspendă această corutină până la sosirea răspunsului, fără a bloca alte sarcini potențiale.
Diferența față de clientul sincron
Clientul sincron blochează firul de execuție curent pe întreaga durată a cererii. Clientul asincron eliberează firul pentru a executa alte corutine. Această distincție nu contează dacă trimiteți o singură cerere, dar devine critică atunci când procesați multiple cereri în paralel.
# Sincron: fiecare apel așteaptă răspunsul
for question in questions:
response = client.chat.completions.create(...) # blocant
process(response)
# Asincron: apelurile rulează în paralel
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # paralel
for r in responses:
process(r)
În exemplul sincron, dacă fiecare cerere durează 10 secunde și aveți 20 de cereri, timpul total este de 200 de secunde. În mod asincron, cu o semafară de 5 (pe care o veți descoperi în lecțiile următoare), timpul scade la aproximativ 40 de secunde.
Puncte cheie
AsyncClientdin xAI SDK vă permite să trimiteți cereri fără a bloca execuția- Parametrul
timeout=3600este esențial pentru modelele de raționament xai-sdknecesită Python 3.10 sau o versiune ulterioară (versiunea 1.21.0 la data de 2 noiembrie 2026, conform PyPI)- Beneficiul real apare la procesarea mai multor cereri în paralel
asyncio.run()servește drept punct de intrare pentru executarea unei corutine din cod sincron