Премини към основното съдържание
Български— Изберете език
Меню

HTTP 429 и експоненциално отстъпване

Урок 3 от 14 Обновен 29 юли 2026 г. Напреднало
На тази страница
  1. Обработка на надвишаване на лимитите
  2. Какво да НЕ правите
  3. Експоненциално отстъпване (Exponential Backoff)
  4. Мащабиране: Регулирайте, преди да се провалите
  5. Третирайте 429 като метрика
  6. Ключови изводи

Обработка на надвишаване на лимитите

Веднага щом Вашето приложение достигне своите лимити за заявки в минута (RPM) или токени в минута (TPM), Grok API отговаря с HTTP статус код 429 (Твърде много заявки). Тълкувайте този код правилно: това не е прекъсване на услугата, а сигнал за контрол на потока. API Ви казва „забавте темпото“, а не „системата е повредена“. Разликата между една стабилна интеграция и една крехка зависи изцяло от това как Вашият код интерпретира тази разлика. Неправилно обработен код 429 никога не остава изолиран: той се разпространява през опашката, след това към извикващите услуги и завършва като инцидент, видим за крайния потребител.

Какво да НЕ правите

Инстинктивната реакция при неуспех на заявка е тя да бъде изпратена отново незабавно. Това е точно грешният ход. Вие вече сте надвишили квотата си; изпращайки веднага нова заявка, изразходвате допълнително обаждане, което също ще се провали, и удължавате периода на блокиране, вместо да го съкратите. Безкрайното повторение на опитите влошава нещата, като ангажира нишки напразно. Обратно, третирането на 429 като постоянна грешка и отказът от опит лишават потребителя Ви от резултат, който би пристигнал няколко секунди по-късно. Правилният подход е по средата: правете повторни опити, но изчакайте и увеличавайте времето за чакане при всеки следващ опит.

Експоненциално отстъпване (Exponential Backoff)

Принципът се състои в удвояване на закъснението след всеки неуспешен опит, като се добавя случайна вариация, наречена „джитър“ (jitter).

import time
import random

def call_with_retry(request, max_retries=5):
    for attempt in range(max_retries):
        response = send_request(request)

        if response.status_code != 429:
            return response

        base_delay = 2 ** attempt  # 1, 2, 4, 8, 16 seconds
        jitter = random.uniform(0, base_delay * 0.5)
        delay = base_delay + jitter

        time.sleep(delay)

    raise Exception("Retry limit reached")

Джитърът заслужава внимание, тъй като това е редът, който най-често се изтрива с предположението, че ненужно усложнява кода. Представете си тридесет екземпляра на Вашата услуга, получаващи код 429 в една и съща секунда. Без джитър всички те ще изчислят едно и също закъснение и ще повторят опита точно в един и същи момент: възпроизвели сте пика на натоварването идентично, една секунда по-късно, после две, после четири. Това е феноменът на „гръмотевичното стадо“ (thundering herd). Рандомизацията разпределя опитите във времето и прекъсва тази неволна синхронизация. Обърнете внимание също, че базовото закъснение започва от една секунда: никога не слизайте под тази стойност за първия опит.

Мащабиране: Регулирайте, преди да се провалите

При приложения с висок обем, реакцията на кодове 429 вече не е достатъчна; по-добре е да ги избягвате. Ограничител на честотата на страната на клиента (client-side rate limiter) ограничава броя на едновременните обаждания и налага минимален интервал между изпращанията, така че изходящото натоварване да остава под тавана, вместо постоянно да го тества.

import asyncio
from asyncio import Semaphore

# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)

async def limited_request(payload):
    async with semaphore:
        response = await send_request_async(payload)
        await asyncio.sleep(1.0 / 25)  # minimum spacing
        return response

Забележете умишления резерв: 25 заявки в секунда вместо разрешените 30. Този резерв поема мрежовите неравномерности и всплесковете в трафика, без никога да достигне тавана.

Автоматичният прекъсвач (circuit breaker) допълва настройката, като спира обажданията, когато неуспехите се натрупат. Докато е затворен, заявките преминават нормално. След определен брой последователни неуспехи, той се отваря и локално отказва всички заявки за конфигурирана продължителност: спирате да „бомбардирате“ API, което Ви отказва, а Вашите нишки остават налични за останалата част от приложението. Когато закъснението изтече, той преминава в полу-отворено състояние и пропуска една единствена тестова заявка; ако тя успее, нормалният трафик се възобновява, в противен случай броячът се нулира. Този механизъм защитава Вашата услуга толкова, колкото и API от другата страна.

Третирайте 429 като метрика

Един последен рефлекс, често липсващ в интеграциите: измервайте честотата на кодовете 429. Тази цифра не измерва качеството на Вашия код за повторни опити; тя измерва съответствието между Вашия тарифен план и Вашия реален трафик. Крива, която се покачва седмица след седмица, сигнализира за недостатъчен капацитет много преди потребителите да се оплачат и Ви дава време да действате спокойно – да разпределите натоварването или да планирате ъпгрейд на тарифния план – вместо да импровизирате в петък вечер.

Ключови изводи

  • HTTP код 429 сигнализира за надвишаване на лимитите за RPM или TPM
  • Експоненциалното отстъпване с джитър е стратегията, препоръчана от xAI
  • В производствена среда допълнете отстъпването с ограничител на честотата на страната на клиента и автоматичен прекъсвач
  • Никога не правете повторен опит незабавно: изчакайте поне 1 секунда преди първия повторен опит
  • Следете честотата на кодовете 429 във Вашите метрики като индикатор за недостатъчен капацитет