Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

AsyncOpenAI ar httpx.Timeout

Nodarbība 2 no 12 Atjaunota 2026. gada 30. jūlijs Augstākais
Šajā lapā
  1. Alternatīva OpenAI SDK
  2. Konfigurē AsyncOpenAI priekš xAI
  3. Izprast httpx.Timeout
  4. Nosūtīt pieprasījumus
  5. Kļūdu apstrāde ar httpx
  6. Kad izvēlēties AsyncOpenAI nevis xAI SDK
  7. Galvenās atziņas

Alternatīva OpenAI SDK

Nativais xAI SDK nav tava vienīgā iespēja asinhronam darbam ar Grok API. OpenAI SDK, kas ir plaši pieņemts Python ekosistēmā, strādā arī ar xAI API formātu saderības dēļ. Šī pieeja ļauj atkārtoti izmantot esošo OpenAI kodu un pieslēgties apkārtējo rīku ekosistēmai.

Konfigurē AsyncOpenAI priekš xAI

Inicializācijai nepieciešami trīs parametri: tavs API atslēga, xAI bāzes URL un laika limits, kas pielāgots spriešanas modeļiem:

from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Šeit galvenā detaļa ir httpx.Timeout(3600.0). OpenAI SDK izmanto httpx kā savu zemā līmeņa HTTP klientu, un noklusējuma laika limits ir 10 minūtes. Grok spriešanas modeļiem tas jāpalielina līdz 3600 sekundēm (viena stunda), lai novērstu priekšlaicīgu savienojuma pārtraukšanu.

Izprast httpx.Timeout

Klase httpx.Timeout pieņem vairākus parametrus, kas kontrolē dažādas savienojuma fāzes:

# Vienots laika limits: 3600s visam
timeout = httpx.Timeout(3600.0)

# Detalizēts laika limits
timeout = httpx.Timeout(
    connect=10.0,    # sākotnējais savienojuma laika limits
    read=3600.0,     # atbildes lasīšanas laika limits
    write=30.0,      # pieprasījuma nosūtīšanas laika limits
    pool=10.0        # gaidīšanas laiks līdz pieejamam savienojumam
)

Produkcijas vidē tu vari precīzi noregulēt šīs vērtības. Sākotnējam savienojumam vajadzētu ātri neizdoties, ja serveris nav sasniedzams (10 sekundes ir pietiekami), savukārt lasīšanas laika limitam jābūt pietiekami pacietīgam, lai sagaidītu modeļa spriešanas procesu.

Nosūtīt pieprasījumus

Sintakse atbilst standarta OpenAI SDK formātam, izmantojot await:

import asyncio

async def query_grok(prompt: str) -> str:
    response = await client.chat.completions.create(
        model="grok-4.20-0309-reasoning",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))

Tu redzēsi tādu pašu struktūru kā OpenAI API: masīvu messages ar lomām un saturu. Atbilde atbilst tai pašai shēmai un ir pieejama caur response.choices[0].message.content.

Kļūdu apstrāde ar httpx

OpenAI SDK kopā ar httpx nodrošina specifiskus izņēmumus, kas tev jāaptver:

from openai import APITimeoutError, APIConnectionError, RateLimitError

async def safe_query(prompt: str) -> str | None:
    try:
        response = await client.chat.completions.create(
            model="grok-4.20-0309-reasoning",
            messages=[{"role": "user", "content": prompt}]
        )
        return response.choices[0].message.content
    except APITimeoutError:
        print("Timeout exceeded—request took too long")
        return None
    except RateLimitError:
        print("Rate limit reached—slow down requests")
        return None
    except APIConnectionError:
        print("Cannot connect to xAI server")
        return None

Trīs biežāk sastopamie izņēmumi ir APITimeoutError (modelis neatbildēja atvēlētajā laikā), RateLimitError (tu pārsniedzi RPM/TPM limitus) un APIConnectionError (tīkla problēma).

Kad izvēlēties AsyncOpenAI nevis xAI SDK

OpenAI SDK ir piemērotāks, ja tev jau ir OpenAI koda bāze, izmanto trešo pušu rīkus, kas saderīgi ar OpenAI (LangChain, LiteLLM), vai vēlies pārslēgties starp sniedzējiem, nemainot savu kodu. Nativais xAI SDK tomēr piedāvā tiešāku piekļuvi Grok specifiskām funkcijām, piemēram, iebūvētiem rīkiem.

Galvenās atziņas

  • AsyncOpenAI strādā ar xAI API, izmantojot base_url="https://api.x.ai/v1"
  • Spriešanas modeļiem ir obligāts httpx.Timeout(3600.0)
  • Pieprasījuma un atbildes formāts ir identisks standarta OpenAI API
  • Izņēmumi APITimeoutError, RateLimitError un APIConnectionError aptver galvenos kļūdu gadījumus
  • Šī izvēle ir ideāla esoša koda atkārtotai izmantošanai vai trešo pušu rīku, kas saderīgi ar OpenAI, integrēšanai