Премини към основното съдържание
Български— Изберете език
Меню

AsyncOpenAI с httpx.Timeout

Урок 2 от 12 Обновен 30 юли 2026 г. Напреднало
На тази страница
  1. Алтернатива на xAI SDK
  2. Конфигуриране на AsyncOpenAI за xAI
  3. Разбиране на httpx.Timeout
  4. Изпращане на заявки
  5. Обработка на грешки с httpx
  6. Кога да изберете AsyncOpenAI пред xAI SDK
  7. Ключови изводи

Алтернатива на xAI SDK

Родният xAI SDK не е единственият Ви вариант за асинхронна работа с Grok API. SDK на OpenAI, широко разпространен в екосистемата на Python, функционира с xAI API благодарение на съвместимостта на форматите. Този подход Ви позволява да преизползвате съществуващ код за OpenAI и да се възползвате от околната екосистема от инструменти.

Конфигуриране на AsyncOpenAI за xAI

Инициализацията изисква три параметъра: Вашия API ключ, базовия URL на xAI и таймаут, адаптиран за моделите за разсъждения:

from openai import AsyncOpenAI
import httpx

client = AsyncOpenAI(
    api_key=os.getenv("XAI_API_KEY"),
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0)
)

Ключовият детайл тук е httpx.Timeout(3600.0). SDK на OpenAI използва httpx като свой основен HTTP клиент, а таймаутът по подразбиране е 10 минути. За моделите за разсъждения на Grok трябва да увеличите тази стойност до 3600 секунди (един час), за да предотвратите преждевременно прекъсване на връзката.

Разбиране на httpx.Timeout

Класът httpx.Timeout приема няколко параметъра, които контролират различни фази на връзката:

# Еднакъв таймаут: 3600s за всичко
timeout = httpx.Timeout(3600.0)

# Детайлен таймаут
timeout = httpx.Timeout(
    connect=10.0,    # таймаут за първоначална връзка
    read=3600.0,     # таймаут за четене на отговора
    write=30.0,      # таймаут за изпращане на заявката
    pool=10.0        # време за изчакване на свободна връзка
)

В производствена среда можете фино да настроите тези стойности. Първоначалната връзка трябва да се провали бързо, ако сървърът е недостъпен (10 секунди са достатъчни), докато таймаутът за четене трябва да бъде достатъчно търпелив, за да изчака разсъжденията на модела.

Изпращане на заявки

Синтаксисът следва стандартния формат на OpenAI SDK, използвайки await:

import asyncio

async def query_grok(prompt: str) -> str:
    response = await client.chat.completions.create(
        model="grok-4.20-0309-reasoning",
        messages=[{"role": "user", "content": prompt}]
    )
    return response.choices[0].message.content

result = asyncio.run(query_grok("What are the advantages of Rust over C++?"))

Ще видите същата структура като при OpenAI API: масив messages с роли и съдържание. Отговорът следва същата схема и е достъпен чрез response.choices[0].message.content.

Обработка на грешки с httpx

OpenAI SDK с httpx предоставя специфични изключения, които трябва да прихванете:

from openai import APITimeoutError, APIConnectionError, RateLimitError

async def safe_query(prompt: str) -> str | None:
    try:
        response = await client.chat.completions.create(
            model="grok-4.20-0309-reasoning",
            messages=[{"role": "user", "content": prompt}]
        )
        return response.choices[0].message.content
    except APITimeoutError:
        print("Timeout exceeded—request took too long")
        return None
    except RateLimitError:
        print("Rate limit reached—slow down requests")
        return None
    except APIConnectionError:
        print("Cannot connect to xAI server")
        return None

Трите най-чести изключения са APITimeoutError (моделът не е отговорил в определения срок), RateLimitError (надвишили сте лимитите RPM/TPM) и APIConnectionError (мрежов проблем).

Кога да изберете AsyncOpenAI пред xAI SDK

SDK на OpenAI е за предпочитане, ако вече разполагате с кодова база за OpenAI, използвате инструменти на трети страни, съвместими с OpenAI (LangChain, LiteLLM), или искате да превключвате между доставчици, без да модифицирате кода си. Родният xAI SDK обаче предлага по-директен достъп до специфични функции на Grok, като вградени инструменти.

Ключови изводи

  • AsyncOpenAI работи с xAI API чрез base_url="https://api.x.ai/v1"
  • httpx.Timeout(3600.0) е задължителен за моделите за разсъждения
  • Форматът на заявките и отговорите е идентичен със стандартния OpenAI API
  • Изключенията APITimeoutError, RateLimitError и APIConnectionError покриват основните случаи на грешки
  • Този избор е идеален за преизползване на съществуващ код или интегриране на инструменти на трети страни, съвместими с OpenAI