Експоненциално отлагане при HTTP 429
На тази страница
Разбиране на грешката 429
HTTP грешка 429 означава, че сте надвишили лимитите за честота на API. Сървърът на xAI временно отказва Вашите заявки, за да защити инфраструктурата. Тази грешка е нормална в контекста на пакетната обработка: тя просто показва, че изпращате заявки твърде бързо.
Подходящата реакция не е да се откажете, а да изчакате преди повторен опит. Експоненциалното отлагане (exponential backoff) е стандартната стратегия за справяне с тази ситуация.
Как работи експоненциалното отлагане
Вместо да правите повторен опит веднага (което би предизвикало нова грешка 429), Вие изчаквате нарастващо забавяне между всеки опит:
- 1-ви неуспех: изчакване 1 секунда
- 2-ри неуспех: изчакване 2 секунди
- 3-ти неуспех: изчакване 4 секунди
- 4-ти неуспех: изчакване 8 секунди
- 5-ти неуспех: отказ
Забавянето се удвоява с всеки опит, откъдето идва и терминът „експоненциално“. Това дава време на сървъра да възстанови капацитета си.
Ръчна реализация
import asyncio
import random
from openai import RateLimitError
async def request_with_backoff(
prompt: str,
max_retries: int = 5,
base_delay: float = 1.0
) -> str:
for attempt in range(max_retries):
try:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except RateLimitError:
if attempt == max_retries - 1:
raise # last attempt, propagate the error
delay = base_delay * (2 ** attempt)
jitter = random.uniform(0, delay * 0.1)
wait_time = delay + jitter
print(f"Rate limit hit, attempt {attempt + 1}/{max_retries}. "
f"Waiting {wait_time:.1f}s")
await asyncio.sleep(wait_time)
Променливата jitter (случайно вариране) е важна. Ако множество корутини получат грешка 429 едновременно, без jitter те всички биха направили повторен опит в точно същия момент, предизвиквайки нова грешка 429. Jitter десинхронизира опитите.
Използване на библиотеката tenacity
За производствена употреба библиотеката tenacity опростява реализацията:
from tenacity import (
retry,
stop_after_attempt,
wait_exponential,
retry_if_exception_type
)
from openai import RateLimitError
@retry(
stop=stop_after_attempt(5),
wait=wait_exponential(multiplier=1, min=1, max=60),
retry=retry_if_exception_type(RateLimitError)
)
async def robust_request(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
Декораторът @retry прихваща RateLimitError, изчаква експоненциално забавяне (между 1 и 60 секунди) и прави повторен опит до 5 пъти. Кодът на функцията остава чист и четим.
Комбиниране на отлагане и семафор
На практика комбинирате отлагането със семафор за пълен контрол:
async def resilient_batch(prompts: list[str], max_concurrent: int = 5) -> list[str]:
sem = Semaphore(max_concurrent)
async def single_request(prompt: str) -> str:
async with sem:
return await request_with_backoff(prompt)
tasks = [single_request(p) for p in prompts]
return await asyncio.gather(*tasks, return_exceptions=True)
Семафорът предотвратява претоварването на API, а механизмът за отлагане обработва остатъчните грешки 429. Тази двойна защита е препоръчителната конфигурация за производствена среда.
Адаптиране на отлагането спрямо типа грешка
Не всички грешки оправдават повторен опит. Ето една класификация:
from openai import RateLimitError, APITimeoutError, APIConnectionError, BadRequestError
async def smart_retry(prompt: str, max_retries: int = 5) -> str:
for attempt in range(max_retries):
try:
return await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
except RateLimitError:
delay = 2 ** attempt
await asyncio.sleep(delay)
except (APITimeoutError, APIConnectionError):
delay = 2 ** attempt
await asyncio.sleep(delay)
except BadRequestError:
raise # error in prompt, retry useless
Грешките 429 (лимит на честотата), таймаутите и грешките във връзката заслужават повторен опит. Обаче BadRequestError (невалидна подкана) няма да бъде разрешена чрез повторен опит.
Ключови изводи
- Грешка 429 е нормална и очаквана по време на пакетна обработка
- Експоненциалното отлагане удвоява забавянето между всеки опит (1с, 2с, 4с, 8с…)
- Jitter десинхронизира новите опити, за да се избегнат сблъсъци
- Библиотеката
tenacityопростява реализацията в производствена среда - Винаги комбинирайте семафор и експоненциално отлагане за максимална устойчивост
- Не правете повторен опит при грешки от невалидна заявка (
BadRequestError)