xAI SDK AsyncClient
På denna sida
Varför byta till asynkront läge
När du frågar xAI:s API synkront blockerar varje anrop programmets exekvering tills svaret kommer. För en resonemangsmodell som grok-4.5 kan en enda begäran ta flera tiotals sekunder. Om du behöver bearbeta 100 begäranden blir den totala väntetiden ohanterlig.
Asynkront läge löser detta problem. Istället för att vänta på varje svar startar ditt program begäran och fortsätter exekveringen. Du hämtar resultatet senare, när det är tillgängligt. Detta tillvägagångssätt låter dig bearbeta flera begäranden parallellt och utnyttja din bandbredd mot API:t maximalt.
Initiera AsyncClient
xAI SDK tillhandahåller klassen AsyncClient dedikerad för asynkrona anrop. Initieringen liknar den för den synkrona klienten, men med en parameter timeout som du alltid måste konfigurera:
import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user
client = AsyncClient(
api_key=os.getenv("XAI_API_KEY"),
timeout=3600,
)
timeout=3600 motsvarar en timme. Detta värde kan verka högt, men det är nödvändigt för resonemangsmodeller som utför utdragna resonemang innan de svarar. En för kort timeout orsakar fel vid tappad anslutning för komplexa begäranden.
Skicka en asynkron begäran
När du har initierat klienten skickar du begäranden med Pythons syntax await:
import asyncio
async def ask_grok(question: str) -> str:
chat = client.chat.create(
model="grok-4.20-0309-reasoning",
max_tokens=500
)
chat.append(user(question))
response = await chat.sample()
return response.text
# Startpunkt
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)
Funktionen ask_grok använder async def, vilket gör den till en korutin. Anropet await chat.sample() suspenderar denna korutin tills svaret kommer, utan att blockera andra potentiella uppgifter.
Skillnad mot den synkrona klienten
Den synkrona klienten blockerar den aktuella tråden under hela begärandets varaktighet. Den asynkrona klienten frigör tråden för att exekvera andra korutiner. Denna distinktion spelar ingen roll om du bara skickar en begäran, men den blir avgörande när du bearbetar flera begäranden parallellt.
# Synkront: varje anrop väntar på svaret
for question in questions:
response = client.chat.completions.create(...) # blockerande
process(response)
# Asynkront: anrop körs parallellt
async def main():
tasks = [ask_grok(q) for q in questions]
responses = await asyncio.gather(*tasks) # parallellt
for r in responses:
process(r)
I det synkrona exemplet, om varje begäran tar 10 sekunder och du har 20 stycken, blir den totala tiden 200 sekunder. I asynkront läge med en semafor på 5 (vilket du kommer att upptäcka i senare lektioner) sjunker tiden till cirka 40 sekunder.
Viktiga punkter
- xAI SDK:s
AsyncClientlåter dig skicka begäranden utan att blockera exekveringen - Parametern
timeout=3600är avgörande för resonemangsmodeller xai-sdkkräver Python 3.10 eller senare (version 1.21.0 per den 2 november 2026, enligt PyPI)- Den verkliga fördelen visar sig vid bearbetning av flera begäranden parallellt
asyncio.run()fungerar som startpunkt för att exekvera en korutin från synkron kod