HTTP 429 и експоненциално отстъпване
На тази страница
Обработка на надвишаване на лимитите
Веднага щом Вашето приложение достигне своите лимити за заявки в минута (RPM) или токени в минута (TPM), Grok API отговаря с HTTP статус код 429 (Твърде много заявки). Тълкувайте този код правилно: това не е прекъсване на услугата, а сигнал за контрол на потока. API Ви казва „забавте темпото“, а не „системата е повредена“. Разликата между една стабилна интеграция и една крехка зависи изцяло от това как Вашият код интерпретира тази разлика. Неправилно обработен код 429 никога не остава изолиран: той се разпространява през опашката, след това към извикващите услуги и завършва като инцидент, видим за крайния потребител.
Какво да НЕ правите
Инстинктивната реакция при неуспех на заявка е тя да бъде изпратена отново незабавно. Това е точно грешният ход. Вие вече сте надвишили квотата си; изпращайки веднага нова заявка, изразходвате допълнително обаждане, което също ще се провали, и удължавате периода на блокиране, вместо да го съкратите. Безкрайното повторение на опитите влошава нещата, като ангажира нишки напразно. Обратно, третирането на 429 като постоянна грешка и отказът от опит лишават потребителя Ви от резултат, който би пристигнал няколко секунди по-късно. Правилният подход е по средата: правете повторни опити, но изчакайте и увеличавайте времето за чакане при всеки следващ опит.
Експоненциално отстъпване (Exponential Backoff)
Принципът се състои в удвояване на закъснението след всеки неуспешен опит, като се добавя случайна вариация, наречена „джитър“ (jitter).
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Джитърът заслужава внимание, тъй като това е редът, който най-често се изтрива с предположението, че ненужно усложнява кода. Представете си тридесет екземпляра на Вашата услуга, получаващи код 429 в една и съща секунда. Без джитър всички те ще изчислят едно и също закъснение и ще повторят опита точно в един и същи момент: възпроизвели сте пика на натоварването идентично, една секунда по-късно, после две, после четири. Това е феноменът на „гръмотевичното стадо“ (thundering herd). Рандомизацията разпределя опитите във времето и прекъсва тази неволна синхронизация. Обърнете внимание също, че базовото закъснение започва от една секунда: никога не слизайте под тази стойност за първия опит.
Мащабиране: Регулирайте, преди да се провалите
При приложения с висок обем, реакцията на кодове 429 вече не е достатъчна; по-добре е да ги избягвате. Ограничител на честотата на страната на клиента (client-side rate limiter) ограничава броя на едновременните обаждания и налага минимален интервал между изпращанията, така че изходящото натоварване да остава под тавана, вместо постоянно да го тества.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Забележете умишления резерв: 25 заявки в секунда вместо разрешените 30. Този резерв поема мрежовите неравномерности и всплесковете в трафика, без никога да достигне тавана.
Автоматичният прекъсвач (circuit breaker) допълва настройката, като спира обажданията, когато неуспехите се натрупат. Докато е затворен, заявките преминават нормално. След определен брой последователни неуспехи, той се отваря и локално отказва всички заявки за конфигурирана продължителност: спирате да „бомбардирате“ API, което Ви отказва, а Вашите нишки остават налични за останалата част от приложението. Когато закъснението изтече, той преминава в полу-отворено състояние и пропуска една единствена тестова заявка; ако тя успее, нормалният трафик се възобновява, в противен случай броячът се нулира. Този механизъм защитава Вашата услуга толкова, колкото и API от другата страна.
Третирайте 429 като метрика
Един последен рефлекс, често липсващ в интеграциите: измервайте честотата на кодовете 429. Тази цифра не измерва качеството на Вашия код за повторни опити; тя измерва съответствието между Вашия тарифен план и Вашия реален трафик. Крива, която се покачва седмица след седмица, сигнализира за недостатъчен капацитет много преди потребителите да се оплачат и Ви дава време да действате спокойно – да разпределите натоварването или да планирате ъпгрейд на тарифния план – вместо да импровизирате в петък вечер.
Ключови изводи
- HTTP код 429 сигнализира за надвишаване на лимитите за RPM или TPM
- Експоненциалното отстъпване с джитър е стратегията, препоръчана от xAI
- В производствена среда допълнете отстъпването с ограничител на честотата на страната на клиента и автоматичен прекъсвач
- Никога не правете повторен опит незабавно: изчакайте поне 1 секунда преди първия повторен опит
- Следете честотата на кодовете 429 във Вашите метрики като индикатор за недостатъчен капацитет