Lähe põhisisu juurde
Eesti— Vali keel
Menüü

AsyncOpenAI koos httpx.Timeoutiga

Õppetund 2 / 12 Värskendatud 30. juuli 2026 Edasijõudnutele
Sellel lehel
  1. OpenAI SDK alternatiiv
  2. AsyncOpenAI seadistamine xAI jaoks
  3. httpx.Timeout mõistmine
  4. Päringute saatmine
  5. Veakäsitlus httpx-iga
  6. Millal valida AsyncOpenAI xAI SDK asemel
  7. Peamised punktid

OpenAI SDK alternatiiv

Natiivne xAI SDK pole ainus võimalus asünkroonseks tööks Grok API-ga. OpenAI SDK, mida Pythoni ökosüsteemis laialdaselt kasutatakse, toimib xAI API-ga vormingu ühilduvuse tõttu. See lähenemine võimaldab sul taaskasutada olemasolevat OpenAI koodi ja kasutada ümbritsevat tööriistade ökosüsteemi.

AsyncOpenAI seadistamine xAI jaoks

Lähtestamine nõuab kolme parameetrit: sinu API-võti, xAI baas-URL ja arutlusmudelite jaoks kohandatud aegumine:

from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Siin on võtmeks httpx.Timeout(3600.0). OpenAI SDK kasutab oma aluseks oleva HTTP-kliendina httpx-i ja vaikimisi aegumine on 10 minutit. Groki arutlusmudelite puhul pead selle suurendama 3600 sekundini (üks tund), et vältida enneaegseid ühenduse katkemisi.

httpx.Timeout mõistmine

Klass httpx.Timeout aktsepteerib mitut parameetrit, mis kontrollivad ühenduse erinevaid faase:

# Ühtne aegumine: 3600s kõige jaoks
timeout = httpx.Timeout(3600.0)

# Detailne aegumine
timeout = httpx.Timeout(
    connect=10.0,    # esialgne ühenduse aegumine
    read=3600.0,     # vastuse lugemise aegumine
    write=30.0,      # päringu saatmise aegumine
    pool=10.0        # ooteaeg vaba ühenduse järele
)

Tootmiskeskkonnas saad neid väärtusi täpsemalt häälestada. Esialgne ühendus peaks ebaõnnestuma kiiresti, kui server pole kättesaadav (10 sekundit on piisav), samas kui lugemise aegumine peab olema kannatlik, et oodata mudeli arutlust.

Päringute saatmine

Süntaks järgib standardset OpenAI SDK vormingut, kasutades await:

import asyncio

async def query_grok(prompt: str) -> str:
    response = await client.chat.completions.create(
        model="grok-4.20-0309-reasoning",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))

Näed sama struktuuri mis OpenAI API-l: massiiv messages koos rollide ja sisuga. Vastus järgib sama skeemi, millele pääsed ligi kaudu response.choices[0].message.content.

Veakäsitlus httpx-iga

OpenAI SDK koos httpx-iga pakub spetsiifilisi erandeid, mida pead püüdma:

from openai import APITimeoutError, APIConnectionError, RateLimitError

async def safe_query(prompt: str) -> str | None:
    try:
        response = await client.chat.completions.create(
            model="grok-4.20-0309-reasoning",
            messages=[{"role": "user", "content": prompt}]
        )
        return response.choices[0].message.content
    except APITimeoutError:
        print("Timeout exceeded—request took too long")
        return None
    except RateLimitError:
        print("Rate limit reached—slow down requests")
        return None
    except APIConnectionError:
        print("Cannot connect to xAI server")
        return None

Kolm levinumat erandit on APITimeoutError (mudel ei vastanud eraldatud aja jooksul), RateLimitError (ületasid RPM/TPM piirangud) ja APIConnectionError (võrguprobleem).

Millal valida AsyncOpenAI xAI SDK asemel

OpenAI SDK on eelistatav, kui sul on juba olemas OpenAI koodibaas, kasutad OpenAI-ga ühilduvaid kolmandate osapoolte tööriistu (LangChain, LiteLLM) või soovid vahetada pakkujaid koodi muutmata. Natiivne xAI SDK pakub aga otsest juurdepääsu Groki-spetsiifilistele funktsioonidele, nagu sisseehitatud tööriistad.

Peamised punktid

  • AsyncOpenAI toimib xAI API-ga kasutades base_url="https://api.x.ai/v1"
  • Arutlusmudelite jaoks on vajalik httpx.Timeout(3600.0)
  • Päringu ja vastuse vorming on identne standardse OpenAI API-ga
  • Erandid APITimeoutError, RateLimitError ja APIConnectionError katavad peamised veajuhtumid
  • See valik on ideaalne olemasoleva koodi taaskasutamiseks või OpenAI-ga ühilduvate kolmandate osapoolte tööriistade integreerimiseks