Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

xAI SDK AsyncClient

Lektion 1 av 12 Uppdaterad 2 november 2026 Avancerad
På denna sida
  1. Varför byta till asynkront läge
  2. Initiera AsyncClient
  3. Skicka en asynkron begäran
  4. Skillnad mot den synkrona klienten
  5. Viktiga punkter

Varför byta till asynkront läge

När du frågar xAI:s API synkront blockerar varje anrop programmets exekvering tills svaret kommer. För en resonemangsmodell som grok-4.5 kan en enda begäran ta flera tiotals sekunder. Om du behöver bearbeta 100 begäranden blir den totala väntetiden ohanterlig.

Asynkront läge löser detta problem. Istället för att vänta på varje svar startar ditt program begäran och fortsätter exekveringen. Du hämtar resultatet senare, när det är tillgängligt. Detta tillvägagångssätt låter dig bearbeta flera begäranden parallellt och utnyttja din bandbredd mot API:t maximalt.

3600s
Rekommenderad timeout
5x
Parallell genomströmning
-50%
Alternativ till Batch API
RPM
Hastighetsbegränsning att respektera

Initiera AsyncClient

xAI SDK tillhandahåller klassen AsyncClient dedikerad för asynkrona anrop. Initieringen liknar den för den synkrona klienten, men med en parameter timeout som du alltid måste konfigurera:

import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user

client = AsyncClient(
    api_key=os.getenv("XAI_API_KEY"),
    timeout=3600,
)

timeout=3600 motsvarar en timme. Detta värde kan verka högt, men det är nödvändigt för resonemangsmodeller som utför utdragna resonemang innan de svarar. En för kort timeout orsakar fel vid tappad anslutning för komplexa begäranden.

Skicka en asynkron begäran

När du har initierat klienten skickar du begäranden med Pythons syntax await:

import asyncio

async def ask_grok(question: str) -> str:
    chat = client.chat.create(
        model="grok-4.20-0309-reasoning",
        max_tokens=500
    )
    chat.append(user(question))
    response = await chat.sample()
    return response.text

# Startpunkt
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)

Funktionen ask_grok använder async def, vilket gör den till en korutin. Anropet await chat.sample() suspenderar denna korutin tills svaret kommer, utan att blockera andra potentiella uppgifter.

Skillnad mot den synkrona klienten

Den synkrona klienten blockerar den aktuella tråden under hela begärandets varaktighet. Den asynkrona klienten frigör tråden för att exekvera andra korutiner. Denna distinktion spelar ingen roll om du bara skickar en begäran, men den blir avgörande när du bearbetar flera begäranden parallellt.

# Synkront: varje anrop väntar på svaret
for question in questions:
    response = client.chat.completions.create(...)  # blockerande
    process(response)

# Asynkront: anrop körs parallellt
async def main():
    tasks = [ask_grok(q) for q in questions]
    responses = await asyncio.gather(*tasks)  # parallellt
    for r in responses:
        process(r)

I det synkrona exemplet, om varje begäran tar 10 sekunder och du har 20 stycken, blir den totala tiden 200 sekunder. I asynkront läge med en semafor på 5 (vilket du kommer att upptäcka i senare lektioner) sjunker tiden till cirka 40 sekunder.

Viktiga punkter

  • xAI SDK:s AsyncClient låter dig skicka begäranden utan att blockera exekveringen
  • Parametern timeout=3600 är avgörande för resonemangsmodeller
  • xai-sdk kräver Python 3.10 eller senare (version 1.21.0 per den 2 november 2026, enligt PyPI)
  • Den verkliga fördelen visar sig vid bearbetning av flera begäranden parallellt
  • asyncio.run() fungerar som startpunkt för att exekvera en korutin från synkron kod