HTTP 429 a exponenciálne oneskorenie
Na tejto strane
Riešenie prekročenia limitov
Akonáhle tvoja aplikácia dosiahne limity RPM alebo TPM, Grok API odpovie stavovým kódom HTTP 429 (Too Many Requests). Cháp tento kód presne tak, ako je určený: nie ako výpadok, ale ako signál regulácie toku. API ti hovorí „spomaľ“, nie „je to pokazené“. Rozdiel medzi robustnou a krehkou integráciou spočíva v tom, ako tvoj kód interpretuje tento rozdiel. Nesprávne vybavená chyba 429 nikdy nezostane izolovaná: kaskádovo sa prenesie cez front, potom do volajúcich služieb a skončí ako incident viditeľný pre koncového používateľa.
Čo nerobiť
Inštinktívnou reakciou pri zlyhaní požiadavky je jej okamžité opätovné odoslanie. To je presne ten najhorší krok. Už si prekročil svoju kvótu; okamžitým opakovaním spotrebuješ ďalší volací pokus, ktorý tiež zlyhá, a namiesto skrátenia predĺžiš blokovacie obdobie. Nekonečné opakovanie situáciu zhoršuje tým, že zbytočne viaže vlákna. Naopak, ak budeš chybu 429 považovať za trvalú a vzdáš to, pripravíš používateľa o výsledok, ktorý by prišiel o niekoľko sekúnd neskôr. Správny prístup leží medzi týmito dvoma extrémami: opakuj pokus, ale čakaj a s každým ďalším pokusom čakaj dlhšie.
Exponenciálne oneskorenie
Princíp spočíva v zdvojnásobení oneskorenia po každom neúspešnom pokuse a pridaní náhodnej variácie nazývanej jitter.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Jitter si zaslúži pozornosť, pretože ide o riadok, ktorý sa najčastejšie vymaže s predpokladom, že zbytočne komplikuje kód. Predstav si tridsať inštancií tvojej služby, ktoré dostanú chybu 429 v tej istej sekunde. Bez jitteru všetky vypočítajú rovnaké oneskorenie a zopakujú pokus presne v rovnakom okamihu: reprodukoval si špičku zaťaženia identicky, o sekundu neskôr, potom o dve, potom o štyri. Toto je fenomén thundering herd (hromadný nábeh). Náhodnosť rozloží pokusy v čase a preruší túto nedobrovoľnú synchronizáciu. Všimni si tiež, že základné oneskorenie začína na jednej sekunde: pre prvý pokus nikdy neklesaj pod túto hodnotu.
Škálovanie: Reguluj skôr, než zlyháš
Pri aplikáciách s vysokým objemom už reakcia na chyby 429 nestačí; lepšie je im predchádzať. Obmedzovač rýchlosti na strane klienta (client-side rate limiter) obmedzuje počet súbežných volaní a vynucuje minimálny odstup medzi odoslaniami, takže odchádzajúce zaťaženie zostáva pod stropom, namiesto toho, aby ho neustále testovalo.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Všimni si zámerne vytvorenú rezervu: 25 požiadaviek za sekundu namiesto povolených 30. Táto rezerva absorbuje nepravidelnosti siete a nárazy prevádzky bez toho, aby si niekedy narazil na strop.
Istič (circuit breaker) dopĺňa toto nastavenie tým, že preruší volania, keď sa zlyhania kopia. Keď je zatvorený, požiadavky prechádzajú normálne. Po stanovenom počte po sebe idúcich zlyhaní sa otvorí a lokálne odmietne všetky požiadavky na nastavenú dobu: prestaneš bombardovať API, ktoré ťa odmieta, a tvoje vlákna zostanú dostupné pre zvyšok aplikácie. Keď časový limit vyprší, prejde do polootvoreného stavu a prepustí jedinú testovaciu požiadavku; ak uspeje, normálna prevádzka sa obnoví, inak sa čítač resetuje. Tento mechanizmus chráni tvoju službu rovnako ako API na druhej strane.
Považuj 429 za metriku
Posledný reflex, ktorý v integráciách často chýba: inštrumentuj mieru výskytu chýb 429. Toto číslo nemeria kvalitu tvojho kódu pre opakovanie pokusov; meria súlad medzi tvojím tarifom a tvojou skutočnou prevádzkou. Krivka, ktorá týždeň čo týždeň stúpa, signalizuje poddimenzovanie dlho predtým, než sa používatelia začnú sťažovať, a dáva ti čas konať pokojne – rozložiť záťaž, naplánovať upgrade tarifu – namiesto improvizácie v piatok večer.
Kľúčové poznatky
- Stavový kód HTTP 429 signalizuje prekročenie limitu RPM alebo TPM
- Exponenciálne oneskorenie s jitterom je stratégia odporúčaná spoločnosťou xAI
- V produkčnom prostredí doplň oneskorenie obmedzovačom rýchlosti na strane klienta a ističom
- Nikdy neopakuj pokus okamžite: pred prvým opakovaním počkaj aspoň 1 sekundu
- Sleduj mieru výskytu chýb 429 v svojich metrikách ako indikátor poddimenzovania