xAI SDK AsyncClient
Na tej stronie
Dlaczego warto przejść na tryb asynchroniczny
Gdy odpytujesz API xAI synchronicznie, każde wywołanie blokuje wykonanie programu aż do momentu nadejścia odpowiedzi. W przypadku modeli rozumujących, takich jak grok-4.5, pojedyncze żądanie może trwać kilkadziesiąt sekund. Jeśli musisz przetworzyć 100 żądań, całkowity czas oczekiwania staje się nieakceptowalny.
Tryb asynchroniczny rozwiązuje ten problem. Zamiast czekać na każdą odpowiedź, Twój program wysyła żądanie i kontynuuje działanie. Wynik odbierasz później, gdy będzie gotowy. Takie podejście pozwala przetwarzać wiele żądań równolegle i w pełni wykorzystać dostępną przepustowość łącza z API.
Inicjalizacja AsyncClient
SDK xAI udostępnia klasę AsyncClient dedykowaną wywołaniom asynchronicznym. Inicjalizacja przebiega podobnie jak w przypadku klienta synchronicznego, z tym że musisz zawsze skonfigurować parametr timeout:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
Wartość timeout=3600 odpowiada jednej godzinie. Może wydawać się wysoka, ale jest niezbędna dla modeli rozumujących, które wykonują rozległe procesy myślowe przed udzieleniem odpowiedzi. Zbyt krótki limit czasu powoduje błędy zerwania połączenia przy złożonych żądaniach.
Wysyłanie żądania asynchronicznego
Po zainicjalizowaniu klienta wysyłasz żądania, używając składni await w języku Python:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Punkt wejścia
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
Funkcja ask_grok używa deklaracji async def, co czyni ją korutyną. Wywołanie await chat.sample() zawiesza tę korutynę do momentu nadejścia odpowiedzi, nie blokując przy tym innych potencjalnych zadań.
Różnica względem klienta synchronicznego
Klient synchroniczny blokuje bieżący wątek przez cały czas trwania żądania. Klient asynchroniczny zwalnia wątek, umożliwiając wykonywanie innych korutyn. Rozróżnienie to nie ma znaczenia, jeśli wysyłasz tylko jedno żądanie, ale staje się kluczowe podczas przetwarzania wielu żądań równolegle.
# Sync: każde wywołanie czeka na odpowiedź
for question in questions:
response = client.chat.completions.create(...) # blokujące
process(response)
# Async: wywołania działają równolegle
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # równolegle
for r in responses:
process(r)
W przykładzie synchronicznym, jeśli każde żądanie trwa 10 sekund, a masz ich 20, całkowity czas wynosi 200 sekund. W trybie asynchronicznym, przy użyciu semafora o wartości 5 (co poznasz w kolejnych lekcjach), czas ten spada do około 40 sekund.
Kluczowe wnioski
AsyncClientz SDK xAI pozwala wysyłać żądania bez blokowania wykonania programu- Parametr
timeout=3600jest niezbędny dla modeli rozumujących - Pakiet
xai-sdkwymaga Pythona w wersji 3.10 lub nowszej (wersja 1.21.0 według stanu na 2 listopada 2026 r., dane z PyPI) - Prawdziwa korzyść pojawia się podczas przetwarzania wielu żądań równolegle
asyncio.run()służy jako punkt wejścia do uruchamiania korutyn z kodu synchronicznego