Spring til hovedindhold
Dansk— Vælg et sprog
Menu

AsyncOpenAI med httpx.Timeout

Lektion 2 af 12 Opdateret 30. juli 2026 Avanceret
På denne side
  1. Alternativet til OpenAI SDK
  2. Konfigurér AsyncOpenAI til xAI
  3. Forstå httpx.Timeout
  4. Send forespørgsler
  5. Fejlhåndtering med httpx
  6. Hvornår skal du vælge AsyncOpenAI frem for xAI SDK?
  7. Vigtige pointer

Alternativet til OpenAI SDK

Det native xAI SDK er ikke din eneste mulighed for asynkront arbejde med Grok API’et. OpenAI SDK’et, som er bredt adopteret i Python-økosystemet, fungerer også med xAI API’et takket være formatkompatibilitet. Denne tilgang giver dig mulighed for at genbruge eksisterende OpenAI-kode og udnytte det omgivende værktøjsøkosystem.

Konfigurér AsyncOpenAI til xAI

Initialiseringen kræver tre parametre: din API-nøgle, xAI’s base-URL og en timeout justeret til ræsonnementsmodeller:

from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Det afgørende detalje her er httpx.Timeout(3600.0). OpenAI SDK’et bruger httpx som sin underliggende HTTP-klient, og standard-timeout’en er 10 minutter. Til Grok-ræsonnementsmodeller skal du øge dette til 3600 sekunder (en time) for at undgå for tidlige afbrydelser.

Forstå httpx.Timeout

Klassen httpx.Timeout accepterer flere parametre, der styrer forskellige faser af forbindelsen:

# Ensartet timeout: 3600s til alt
timeout = httpx.Timeout(3600.0)

# Granulær timeout
timeout = httpx.Timeout(
    connect=10.0,    # timeout for indledende forbindelse
    read=3600.0,     # timeout for læsning af svar
    write=30.0,      # timeout for afsendelse af forespørgsel
    pool=10.0        # ventetid på en ledig forbindelse
)

I produktion kan du finjustere disse værdier. Den indledende forbindelse bør fejle hurtigt, hvis serveren ikke kan nås (10 sekunder er tilstrækkeligt), mens læse-timeout’en skal være tålmodig nok til at vente på modellens ræsonnement.

Send forespørgsler

Syntaksen følger standardformatet for OpenAI SDK og bruger await:

import asyncio

async def query_grok(prompt: str) -> str:
    response = await client.chat.completions.create(
        model="grok-4.20-0309-reasoning",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))

Du vil se den samme struktur som i OpenAI API’et: et messages-array med roller og indhold. Svaret følger samme skema og er tilgængeligt via response.choices[0].message.content.

Fejlhåndtering med httpx

OpenAI SDK’et med httpx giver specifikke undtagelser, som du skal fange:

from openai import APITimeoutError, APIConnectionError, RateLimitError

async def safe_query(prompt: str) -> str | None:
    try:
        response = await client.chat.completions.create(
            model="grok-4.20-0309-reasoning",
            messages=[{"role": "user", "content": prompt}]
        )
        return response.choices[0].message.content
    except APITimeoutError:
        print("Timeout overskredet – forespørgslen tog for lang tid")
        return None
    except RateLimitError:
        print("Rate-limit nået – dæmp forespørgslerne")
        return None
    except APIConnectionError:
        print("Kan ikke oprette forbindelse til xAI-serveren")
        return None

De tre mest almindelige undtagelser er APITimeoutError (modellen svarede ikke inden for den tildelte tid), RateLimitError (du har overskredet RPM/TPM-grænser) og APIConnectionError (netværksproblem).

Hvornår skal du vælge AsyncOpenAI frem for xAI SDK?

OpenAI SDK’et er at foretrække, hvis du allerede har en OpenAI-kodebase, bruger tredjepartsværktøjer, der er kompatible med OpenAI (LangChain, LiteLLM), eller ønsker at skifte mellem udbydere uden at ændre din kode. Det native xAI SDK tilbyder dog mere direkte adgang til Grok-specifikke funktioner, såsom indbyggede værktøjer.

Vigtige pointer

  • AsyncOpenAI fungerer med xAI API’et via base_url="https://api.x.ai/v1"
  • httpx.Timeout(3600.0) er påkrævet til ræsonnementsmodeller
  • Formatet for forespørgsler og svar er identisk med standard OpenAI API
  • Undtagelserne APITimeoutError, RateLimitError og APIConnectionError dækker de primære fejltilfælde
  • Dette valg er ideelt til genbrug af eksisterende kode eller integration af tredjepartsværktøjer, der er kompatible med OpenAI