Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

AsyncOpenAI med httpx.Timeout

Lektion 2 av 12 Uppdaterad 30 juli 2026 Avancerad
På denna sida
  1. Alternativet OpenAI SDK
  2. Konfigurera AsyncOpenAI för xAI
  3. Förstå httpx.Timeout
  4. Skicka förfrågningar
  5. Felhantering med httpx
  6. När ska du välja AsyncOpenAI framför xAI SDK?
  7. Viktiga punkter

Alternativet OpenAI SDK

Det inbyggda xAI SDK:t är inte ditt enda alternativ för asynkront arbete med Grok API:t. OpenAI SDK:t, som är brett använt i hela Python-ekosystemet, fungerar med xAI API:t tack vare formatkompatibilitet. Detta tillvägagångssätt låter dig återanvända befintlig OpenAI-kod och dra nytta av det omgivande verktygsekosystemet.

Konfigurera AsyncOpenAI för xAI

Initieringen kräver tre parametrar: din API-nyckel, xAI:s bas-URL och en timeout justerad för resonemangsmodeller:

from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Det avgörande här är httpx.Timeout(3600.0). OpenAI SDK:t använder httpx som sin underliggande HTTP-klient, och standard-timeouten är 10 minuter. För Groks resonemangsmodeller måste du öka detta till 3600 sekunder (en timme) för att förhindra för tidiga frånkopplingar.

Förstå httpx.Timeout

Klassen httpx.Timeout accepterar flera parametrar som styr olika faser av anslutningen:

# Enhetlig timeout: 3600s för allt
timeout = httpx.Timeout(3600.0)

# Granulär timeout
timeout = httpx.Timeout(
    connect=10.0,    # timeout för initial anslutning
    read=3600.0,     # timeout för läsning av svar
    write=30.0,      # timeout för sändning av förfrågan
    pool=10.0        # väntetid för en ledig anslutning
)

I produktion kan du finjustera dessa värden. Den initiala anslutningen bör misslyckas snabbt om servern inte går att nå (10 sekunder räcker), medan lästimeouten måste vara tålmodig nog att vänta på modellens resonemang.

Skicka förfrågningar

Syntaxen följer standardformatet för OpenAI SDK och använder await:

import asyncio

async def query_grok(prompt: str) -> str:
    response = await client.chat.completions.create(
        model="grok-4.20-0309-reasoning",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))

Du ser samma struktur som i OpenAI API:t: en messages-array med roller och innehåll. Svaret följer samma schema och är tillgängligt via response.choices[0].message.content.

Felhantering med httpx

OpenAI SDK:t med httpx tillhandahåller specifika undantag som du behöver fånga:

from openai import APITimeoutError, APIConnectionError, RateLimitError

async def safe_query(prompt: str) -> str | None:
    try:
        response = await client.chat.completions.create(
            model="grok-4.20-0309-reasoning",
            messages=[{"role": "user", "content": prompt}]
        )
        return response.choices[0].message.content
    except APITimeoutError:
        print("Timeout exceeded—request took too long")
        return None
    except RateLimitError:
        print("Rate limit reached—slow down requests")
        return None
    except APIConnectionError:
        print("Cannot connect to xAI server")
        return None

De tre vanligaste undantagen är APITimeoutError (modellen svarade inte inom den tilldelade tiden), RateLimitError (du har överskridit gränserna för RPM/TPM) och APIConnectionError (nätverksfel).

När ska du välja AsyncOpenAI framför xAI SDK?

OpenAI SDK:t är att föredra om du redan har en OpenAI-kodbas, använder tredjepartsverktyg kompatibla med OpenAI (LangChain, LiteLLM) eller vill byta mellan leverantörer utan att modifiera din kod. Det inbyggda xAI SDK:t erbjuder dock mer direkt tillgång till Grok-specifika funktioner, såsom inbyggda verktyg.

Viktiga punkter

  • AsyncOpenAI fungerar med xAI API:t via base_url="https://api.x.ai/v1"
  • httpx.Timeout(3600.0) krävs för resonemangsmodeller
  • Formatet för förfrågan och svar är identiskt med standard-API:t för OpenAI
  • Undantagen APITimeoutError, RateLimitError och APIConnectionError täcker de huvudsakliga felen
  • Detta val är idealiskt för att återanvända befintlig kod eller integrera tredjepartsverktyg kompatibla med OpenAI