Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

AsyncOpenAI su httpx.Timeout

Paskaita 2 iš 12 Atnaujinta 2026 m. liepos 30 d. Pažengusiems
Šiame puslapyje
  1. Alternatyva „OpenAI“ SDK
  2. „AsyncOpenAI“ konfigūravimas xAI
  3. Suprask httpx.Timeout
  4. Siųsk užklausas
  5. Klaidų apdorojimas su httpx
  6. Kada rinktis „AsyncOpenAI“, o ne xAI SDK
  7. Svarbiausi punktai

Alternatyva „OpenAI“ SDK

Natyvusis xAI SDK nėra vienintelis būdas dirbti asinchroniškai su „Grok“ API. „OpenAI“ SDK, plačiai naudojamas „Python“ ekosistemoje, veikia su xAI API dėl formato suderinamumo. Šis požiūris leidžia pakartotinai naudoti esamą „OpenAI“ kodą ir pasinaudoti aplinkine įrankių ekosistema.

„AsyncOpenAI“ konfigūravimas xAI

Inicializavimui reikia trijų parametrų: tavo API rakto, xAI bazinio URL ir laiko limito, pritaikyto samprotavimo modeliams:

from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Svarbiausia čia yra httpx.Timeout(3600.0). „OpenAI“ SDK naudoja httpx kaip pagrindinį HTTP klientą, o numatytasis laiko limitas yra 10 minučių. „Grok“ samprotavimo modeliams šį laiką reikia padidinti iki 3600 sekundžių (vienos valandos), kad išvengtum priešlaikinio ryšio nutraukimo.

Suprask httpx.Timeout

httpx.Timeout klasė priima kelis parametrus, valdančius skirtingas ryšio fazes:

# Vienodas laiko limitas: 3600 s viskam
timeout = httpx.Timeout(3600.0)

# Detalizuotas laiko limitas
timeout = httpx.Timeout(
    connect=10.0,    # pradinio prisijungimo laiko limitas
    read=3600.0,     # atsakymo nuskaitymo laiko limitas
    write=30.0,      # užklausos siuntimo laiko limitas
    pool=10.0        # laukimo laikas, kol atsiras laisvas ryšys
)

Gamybinėje aplinkoje šias reikšmes gali tiksliai sureguliuoti. Pradinis prisijungimas turi greitai nepavykti, jei serveris nepasiekiamas (pakanka 10 sekundžių), tuo tarpu skaitymo laiko limitas turi būti pakankamai kantrus, kad palauktų modelio samprotavimo.

Siųsk užklausas

Sintaksė atitinka standartinį „OpenAI“ SDK formatą, naudojant await:

import asyncio

async def query_grok(prompt: str) -> str:
    response = await client.chat.completions.create(
        model="grok-4.20-0309-reasoning",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))

Matysi tą pačią struktūrą kaip ir „OpenAI“ API: masyvą messages su vaidmenimis ir turiniu. Atsakymas laikosi tos pačios schemos ir yra pasiekiamas per response.choices[0].message.content.

Klaidų apdorojimas su httpx

„OpenAI“ SDK su httpx pateikia specifines išimtis, kurias turi sugauti:

from openai import APITimeoutError, APIConnectionError, RateLimitError

async def safe_query(prompt: str) -> str | None:
    try:
        response = await client.chat.completions.create(
            model="grok-4.20-0309-reasoning",
            messages=[{"role": "user", "content": prompt}]
        )
        return response.choices[0].message.content
    except APITimeoutError:
        print("Timeout exceeded—request took too long")
        return None
    except RateLimitError:
        print("Rate limit reached—slow down requests")
        return None
    except APIConnectionError:
        print("Cannot connect to xAI server")
        return None

Trys dažniausiai pasitaikančios išimtys yra APITimeoutError (modelis neatsakė per skirtą laiką), RateLimitError (viršijai RPM/TPM limitus) ir APIConnectionError (tinklo problema).

Kada rinktis „AsyncOpenAI“, o ne xAI SDK

„OpenAI“ SDK yra geresnis pasirinkimas, jei jau turi „OpenAI“ kodų bazę, naudoji trečiųjų šalių įrankius, suderinamus su „OpenAI“ („LangChain“, „LiteLLM“), arba nori keisti tiekėjus nemodifikuodamas kodo. Tačiau natyvusis xAI SDK suteikia tiesioginesnę prieigą prie „Grok“ specifinių funkcijų, pavyzdžiui, integruotų įrankių.

Svarbiausi punktai

  • AsyncOpenAI veikia su xAI API naudojant base_url="https://api.x.ai/v1"
  • Samprotavimo modeliams būtinas httpx.Timeout(3600.0)
  • Užklausos ir atsakymo formatas yra identiškas standartiniam „OpenAI“ API
  • Išimtys APITimeoutError, RateLimitError ir APIConnectionError apima pagrindines klaidų situacijas
  • Šis pasirinkimas idealus pakartotinai naudojant esamą kodą arba integruojant trečiųjų šalių įrankius, suderinamus su „OpenAI“