Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

xAI SDK AsyncClient

Oppitunti 1 / 12 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Miksi siirtyä asynkroniseen tilaan
  2. AsyncClientin alustus
  3. Asynkronisen pyynnön lähettäminen
  4. Ero synkroniseen asiakkaaseen
  5. Keskeiset asiat

Miksi siirtyä asynkroniseen tilaan

Kun kysyt xAI-rajapinnalta synkronisesti, jokainen kutsu pysäyttää ohjelmasi suorituksen, kunnes vastaus saapuu. Päättelymallille kuten grok-4.5 yksittäinen pyyntö voi kestää useita kymmeniä sekunteja. Jos sinun täytyy käsitellä 100 pyyntöä, kokonaisodotusaika muodostuu kohtuuttomaksi.

Asynkroninen tila ratkaisee tämän ongelman. Ohjelmasi ei odota jokaista vastausta, vaan lähettää pyynnön ja jatkaa suorittamista. Haet tuloksen myöhemmin, kun se on saatavilla. Tämä lähestymistapa mahdollistaa useiden pyyntöjen rinnakkaisen käsittelyn ja API-yhteytesi kaistanleveyden täysimääräisen hyödyntämisen.

3600s
Recommended timeout
5x
Parallel throughput
-50%
Batch API alternative
RPM
Rate limit to respect

AsyncClientin alustus

xAI SDK tarjoaa asynkronisia kutsuja varten tarkoitetun AsyncClient-luokan. Alustus muistuttaa synkronista asiakasta, mutta sisältää timeout-parametrin, joka on aina määritettävä:

import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user

client = AsyncClient(
    api_key=os.getenv("XAI_API_KEY"),
    timeout=3600,
)

timeout=3600 vastaa yhtä tuntia. Arvo saattaa vaikuttaa suurelta, mutta se on välttämätön päättelymalleille, jotka suorittavat laajoja päättelyprosesseja ennen vastaamista. Liian lyhyt aikakatkaisu aiheuttaa yhteyskatkovirheitä monimutkaisissa pyynnöissä.

Asynkronisen pyynnön lähettäminen

Kun olet alustanut asiakkaan, lähetät pyynnöt käyttämällä Pythonin await-syntaksia:

import asyncio

async def ask_grok(question: str) -> str:
    chat = client.chat.create(
        model="grok-4.20-0309-reasoning",
        max_tokens=500
    )
    chat.append(user(question))
    response = await chat.sample()
    return response.text

# Entry point
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)

ask_grok-funktio käyttää async def -määrettä, mikä tekee siitä korutiinin. await chat.sample() -kutsu keskeyttää tämän korutiinin vastauksen saapumiseen asti estämättä muita mahdollisia tehtäviä.

Ero synkroniseen asiakkaaseen

Synkroninen asiakas varaa nykyisen säikeen koko pyynnön ajaksi. Asynkroninen asiakas vapauttaa säikeen muiden korutiinien suorittamista varten. Tämä ero ei merkitse paljon, jos lähetät vain yhden pyynnön, mutta se muuttuu kriittiseksi käsitellessäsi useita pyyntöjä rinnakkain.

# Sync: each call waits for the response
for question in questions:
    response = client.chat.completions.create(...)  # blocking
    process(response)

# Async: calls run in parallel
async def main():
    tasks = [ask_grok(q) for q in questions]
    responses = await asyncio.gather(*tasks)  # parallel
    for r in responses:
        process(r)

Synkronisessa esimerkissä, jos jokainen pyyntö kestää 10 sekuntia ja sinulla on 20 pyyntöä, kokonaisaika on 200 sekuntia. Asynkronisessa tilassa, jossa käytetään semaforia 5 (johon perehdyt myöhemmissä oppitunneissa), aika lyhenee noin 40 sekuntiin.

Keskeiset asiat

  • xAI SDK:n AsyncClient mahdollistaa pyyntöjen lähettämisen estämättä suorittamista
  • timeout=3600-parametri on välttämätön päättelymalleille
  • xai-sdk vaatii Python-versiota 3.10 tai uudempaa (versio 1.21.0 PyPI:ssä 2. marraskuuta 2026)
  • Todellinen hyöty ilmenee useiden pyyntöjen rinnakkaisessa käsittelyssä
  • asyncio.run() toimii sisäänmenopisteenä korutiinin suorittamiselle synkronisesta koodista