HTTP 429 in eksponentno nazadovanje
Na tej strani
Obravnava preseženih omejitev
Takoj ko tvoja aplikacija doseže omejitve RPM ali TPM, API Grok odgovori s statusno kodo HTTP 429 (Preveč zahtev). To kodo razumi takšno, kot je: ne gre za izpad, temveč za signal nadzora pretoka. API ti sporoča „upočasni”, ne pa „pokvarjeno je”. Razlika med robustno in krhko integracijo je v tem, kako tvoja koda razlaga to razliko. Napačno obravnavana koda 429 nikoli ne ostane izolirana: kaskadira skozi čakalno vrsto, nato v klicne storitve in konča kot incident, viden končnemu uporabniku.
Česa ne delati
Nagon ob neuspehu zahteve je, da jo takoj ponovno pošlješ. To je popolnoma napačen korak. Že tako si prekoračil kvoto; s takojšnjim ponovnim pošiljanjem porabiš dodaten klic, ki bo prav tako neuspešen, in podaljšaš obdobje blokade namesto, da bi ga skrajšal. Neskončno ponavljanje poslabša stvari, saj zaman veže nitke. Po drugi strani obravnava kode 429 kot trajne napake in odnehanje uporabniku odvzame rezultat, ki bi prišel nekaj sekund kasneje. Pravi pristop je nekje vmes: poskusi znova, a počakaj in vsakič čakaj dlje.
Eksponentno nazadovanje
Načelo je podvojiti zamik po vsakem neuspelem poskusu in dodati naključno variacijo, imenovano „jitter”.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Jitter si zasluži pozornost, saj je vrstica, ki jo najpogosteje izbrišejo ob predpostavki, da nepotrebno zaplete kodo. Predstavljaj si trideset primerkov tvoje storitve, ki isto sekundo prejmejo kodo 429. Brez jitterja vsi izračunajo enak zamik in poskusijo znova točno ob istem trenutku: obremenitveni vrh si reproduciral identično, eno sekundo kasneje, nato dve, nato štiri. To je pojav thundering herd. Naključnost razporedi poskuse v času in prekine to nehote sinhronizacijo. Upoštevaj tudi, da osnovni zamik začne pri eni sekundi: za prvi poskus nikoli ne idi pod to vrednost.
Skaliranje: Reguliraj pred odpovedjo
Pri aplikacijah z velikim obsegom odzivanje na kode 429 ni več dovolj; bolje se jim je izogniti. Omejevalnik hitrosti na strani odjemalca omeji število sočasnih klicev in uveljavi minimalni razmik med pošiljanji, tako da odhodna obremenitev ostane pod zgornjo mejo, namesto da bi jo nenehno testirala.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Opazi namerno rezervo: 25 zahtev na sekundo namesto dovoljenih 30. Ta rezerva absorbira nepravilnosti v omrežju in prometne sunke, ne da bi kdaj dosegla strop.
Stikalni krog (circuit breaker) dopolni nastavitev z prekinitvijo klicev, ko se napake kopičijo. Ko je zaprt, zahteve potekajo normalno. Po določenem številu zaporednih napak se odpre in lokalno zavrne vse zahteve za nastavljen čas: prenehaš obremenjevati API, ki te zavrača, tvoje nitke pa ostanejo na voljo za preostanek aplikacije. Ko čas poteče, preide v polodprto stanje in spusti eno samo testno zahtevo; če uspe, se promet nadaljuje normalno, sicer se števec ponastavi. Ta mehanizem ščiti tvojo storitev prav tako kot API na drugi strani.
Kodo 429 obravnavaj kot metrike
Zadnji refleks, ki ga integracijam pogosto manjka: instrumentiraj stopnjo kod 429. Ta številka ne meri kakovosti tvoje kode za ponavljanje; meri ujemanje med tvojo ravnjo in tvojim dejanskim prometom. Krivulja, ki iz tedna v teden narašča, signalizira premajhno zmogljivost dolgo preden se uporabniki pritožijo in ti da čas za mirno ukrepanje – porazdeli obremenitev, načrtuj nadgradnjo ravni – namesto improvizacije petek zvečer.
Ključne ugotovitve
- Koda HTTP 429 signalizira preseženo omejitev RPM ali TPM
- Eksponentno nazadovanje z jitterjem je strategija, ki jo priporoča xAI
- V proizvodnem okolju dopolni nazadovanje z omejevalnikom hitrosti na strani odjemalca in stikalnim krogom
- Nikoli ne poskušaj znova takoj: pred prvim ponovnim poskusom počakaj vsaj 1 sekundo
- Spremljaj stopnjo kod 429 v svojih metrikah kot indikator premajhne zmogljivosti