Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

xAI SDK AsyncClient

Lekcija 1 od 12 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Zakaj preklopiti na asinhrono delovanje
  2. Inicializacija AsyncClient
  3. Pošiljanje asinhrone zahteve
  4. Razlika glede na sinhroni odjemalec
  5. Ključne ugotovitve

Zakaj preklopiti na asinhrono delovanje

Ko poizveduješ v API xAI sinhrono, vsak klic blokira izvajanje tvojega programa, dokler ne prispe odgovor. Pri razmislevalnem modelu, kot je grok-4.5, lahko ena sama zahteva traja več deset sekund. Če moraš obdelati 100 zahtev, postane skupni čas čakanja nesprejemljiv.

Asinhroni način reši ta problem. Namesto čakanja na vsak odgovor tvoj program sproži zahtevo in nadaljuje z izvajanjem. Rezultat prejmeš kasneje, ko je na voljo. Ta pristop ti omogoča vzporedno obdelavo več zahtev in polno izkoriščanje pasovne širine do API-ja.

3600s
Priporočeni časovni limit
5x
Vzporedna prepustnost
-50%
Alternativa Batch API
RPM
Omejitev hitrosti, ki jo je treba upoštevati

Inicializacija AsyncClient

SDK xAI ponuja razred AsyncClient, namenjen asinhronim klicem. Inicializacija je podobna sinhronemu odjemalcu, vendar moraš vedno nastaviti parameter timeout:

import os
from xai_sdk import AsyncClient
from xai_sdk.chat import user

client = AsyncClient(
    api_key=os.getenv("XAI_API_KEY"),
    timeout=3600,
)

timeout=3600 pomeni eno uro. Ta vrednost se morda zdi visoka, vendar je nujna za razmislevalne modele, ki pred odgovorom izvedejo dolgotrajno razmišljanje. Prekratek časovni limit povzroči napake prekinitve povezave pri kompleksnih zahtevah.

Pošiljanje asinhrone zahteve

Ko inicializiraš odjemalca, zahteve pošiljaš s sintakso await v Pythonu:

import asyncio

async def ask_grok(question: str) -> str:
    chat = client.chat.create(
        model="grok-4.20-0309-reasoning",
        max_tokens=500
    )
    chat.append(user(question))
    response = await chat.sample()
    return response.text

# Vstopna točka
result = asyncio.run(ask_grok("Explain the algorithmic complexity of quicksort"))
print(result)

Funkcija ask_grok uporablja async def, kar jo naredi za korutino. Klic await chat.sample() začasno ustavi to korutino, dokler ne prispe odgovor, ne da bi blokirala druge potencialne naloge.

Razlika glede na sinhroni odjemalec

Sinhroni odjemalec blokira trenutno nit za celoten čas trajanja zahteve. Asinhroni odjemalec sprosti nit za izvajanje drugih korutin. Ta razlika ni pomembna, če pošiljaš le eno zahtevo, postane pa ključna pri vzporedni obdelavi več zahtev.

# Sinhrono: vsak klic čaka na odgovor
for question in questions:
    response = client.chat.completions.create(...)  # blokirajoče
    process(response)

# Asinhrono: klici tečejo vzporedno
async def main():
    tasks = [ask_grok(q) for q in questions]
    responses = await asyncio.gather(*tasks)  # vzporedno
    for r in responses:
        process(r)

V sinhronem primeru, če vsaka zahteva traja 10 sekund in jih imaš 20, je skupni čas 200 sekund. V asinhronem načinu s semaforjem 5 (kar boš spoznal v kasnejših lekcijah), se čas skrajša na približno 40 sekund.

Ključne ugotovitve

  • AsyncClient v SDK xAI ti omogoča pošiljanje zahtev brez blokiranja izvajanja
  • Parameter timeout=3600 je bistven za razmislevalne modele
  • xai-sdk zahteva Python 3.10 ali novejši (različica 1.21.0 z dne 2. novembra 2026, po podatkih PyPI)
  • Prava prednost se pokaže pri vzporedni obdelavi več zahtev
  • asyncio.run() služi kot vstopna točka za izvajanje korutine iz sinhronne kode