Премини към основното съдържание
Български— Изберете език
Меню

Изчакване и надеждност в продукционна среда

Урок 15 от 16 Обновен 30 юли 2026 г. Програмист
На тази страница
  1. Подгответе приложението си за реалния свят
  2. Време за изчакване от 3600 секунди
  3. Обработка на грешки
  4. Асинхронна архитектура
  5. Circuit Breaker (Предпазител)
  6. Ключови изводи

Подгответе приложението си за реалния свят

В продукционна среда заявките към Responses API могат да отнемат време – особено при моделите за разсъждаване, които „мислят“ обстойно, преди да дадат отговор. Лошото управление на времето за изчакване (timeout) може да доведе до тихи сривове или влошено потребителско изживяване.

Време за изчакване от 3600 секунди

xAI препоръчва минимално време за изчакване от 3600 секунди (1 час) за заявки към модели за разсъждаване. Това е значително по-дълго от стандартните API и оказва влияние върху архитектурата Ви.

Защо толкова дълго?

Моделите за разсъждаване Grok-4.5 могат да използват стотици хиляди вътрешни токени за разсъждаване, преди да генерират отговор. При сложни задачи (напреднала математика, анализ на код, многоетапно разсъждаване) моделът може да „мисли“ няколко минути.

Конфигурация от страна на клиента

import httpx
from openai import OpenAI

# OpenAI SDK с удължено време за изчакване
client = OpenAI(
    api_key="xai-...",
    base_url="https://api.x.ai/v1",
    timeout=httpx.Timeout(3600.0, connect=10.0)
)

В curl:

curl --max-time 3600 https://api.x.ai/v1/responses \
  -H "Authorization: Bearer $XAI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{...}'

Обработка на грешки

Чести грешки

HTTP кодПричинаДействие
401Невалиден API ключПроверете ключа
429Достигнат лимит на честотатаПовторете опита с експоненциално забавяне
500Грешка в сървъра на xAIПовторете опита след няколко секунди
503Услугата е недостъпнаПовторете опита след 30 секунди
TimeoutЗаявката е твърде дългаУвеличете времето за изчакване или опростете подканата

Шаблон за повторен опит с експоненциално забавяне

import time

def call_with_retry(client, max_retries=3, **kwargs):
    for attempt in range(max_retries):
        try:
            return client.responses.create(**kwargs)
        except Exception as e:
            if attempt == max_retries - 1:
                raise
            wait = 2 ** attempt  # 1s, 2s, 4s
            print(f"Error: {e}. Retrying in {wait}s...")
            time.sleep(wait)

Ограничаване на честотата (Rate Limiting)

xAI прилага ограничения на честотата въз основа на Вашия план. Внедрете ограничител на честотата от страна на клиента:

import time
from collections import deque

class RateLimiter:
    def __init__(self, max_requests_per_minute=60):
        self.max_rpm = max_requests_per_minute
        self.timestamps = deque()

    def wait_if_needed(self):
        now = time.time()
        # Премахване на отметки за време, по-стари от една минута
        while self.timestamps and self.timestamps[0] < now - 60:
            self.timestamps.popleft()
        if len(self.timestamps) >= self.max_rpm:
            sleep_time = 60 - (now - self.timestamps[0])
            time.sleep(max(0, sleep_time))
        self.timestamps.append(time.time())

Асинхронна архитектура

За уеб приложения не блокирайте основния нишка за 3600 секунди. Използвайте асинхронна архитектура:

import asyncio
from openai import AsyncOpenAI

client = AsyncOpenAI(
    api_key="xai-...",
    base_url="https://api.x.ai/v1"
)

async def process_request(user_input):
    response = await client.responses.create(
        model="grok-4.20-0309-reasoning",
        input=user_input,
        stream=True
    )
    async for event in response:
        if event.type == "response.output_text.delta":
            yield event.delta

Стриймингът е най-добрият подход за интерактивни приложения: потребителите виждат първите токени в рамките на секунди, дори ако пълното генериране отнема повече време.

Circuit Breaker (Предпазител)

За да защитите приложението си от прекъсвания на xAI API:

class CircuitBreaker:
    def __init__(self, failure_threshold=5, reset_timeout=60):
        self.failures = 0
        self.threshold = failure_threshold
        self.reset_timeout = reset_timeout
        self.last_failure = 0
        self.is_open = False

    def call(self, func, *args, **kwargs):
        if self.is_open:
            if time.time() - self.last_failure > self.reset_timeout:
                self.is_open = False
                self.failures = 0
            else:
                raise Exception("Circuit open — API unavailable")

        try:
            result = func(*args, **kwargs)
            self.failures = 0
            return result
        except Exception as e:
            self.failures += 1
            self.last_failure = time.time()
            if self.failures >= self.threshold:
                self.is_open = True
            raise

Ключови изводи

  • Конфигурирайте минимално време за изчакване от 3600 секунди за модели за разсъждаване
  • Внедрете механизъм за повторен опит с експоненциално забавяне за грешки 429 и 500
  • Използвайте стрийминг за интерактивни приложения – потребителите виждат токените веднага
  • Обработвайте ограничаването на честотата от страна на клиента, за да избегнете грешки 429
  • Обмислете използването на circuit breaker, за да защитите приложението си от прекъсвания на API