HTTP 429 i eksponencijalno povlačenje
Na ovoj stranici
Rukovanje premašenim ograničenjima
Čim tvoja aplikacija dosegne svoja RPM ili TPM ograničenja, Grok API odgovara HTTP status kodom 429 (Too Many Requests). Pročitaj taj kod onako kako jest: to nije kvar sustava, već signal za kontrolu protoka. API ti govori „uspori“, a ne „nešto je pokvareno“. Razlika između robustne i krhke integracije leži u tome kako tvoj kod tumači tu razliku. Loše obrađen odgovor 429 nikada ne ostaje izoliran: lančano se prenosi kroz red čekanja, zatim u pozivne servise i završava kao incident vidljiv krajnjem korisniku.
Što ne raditi
Instinktivna reakcija kada zahtjev ne uspije jest da ga odmah ponovno pošalješ. To je točno suprotno od onoga što trebaš učiniti. Već si premašio svoju kvotu; slanjem novog zahtjeva odmah trošiš dodatni poziv koji će također neuspjeti i time produžuješ razdoblje blokiranja umjesto da ga skratiš. Beskonačno ponavljanje pokušaja pogoršava situaciju jer beskorisno zauzima niti. S druge strane, tretiranje odgovora 429 kao trajne pogreške i odustajanje uskraćuje tvojem korisniku rezultat koji bi stigao nekoliko sekundi kasnije. Pravi pristup nalazi se između ta dva ekstrema: ponovi pokušaj, ali pričekaj, i svaki put čekaj dulje.
Eksponencijalno povlačenje
Princip je udvostručiti kašnjenje nakon svakog neuspjelog pokušaja, dodajući nasumičnu varijaciju zvanu „jitter“.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Jitter zaslužuje pažnju jer je to linija koda koju se najčešće briše pod pretpostavkom da nepotrebno komplicira kod. Zamisli trideset instanci tvog servisa koje prime odgovor 429 u istoj sekundi. Bez jittera, sve one izračunaju isto kašnjenje i ponove pokušaj točno u istom trenutku: reproducirao si vrhunac opterećenja identično, jednu sekundu kasnije, zatim dvije, pa četiri. To je fenomen „grmljavinskog krda“. Nasumičnost raspoređuje pokušaje tijekom vremena i prekida tu nehotičnu sinkronizaciju. Imaj na umu i da osnovno kašnjenje počinje s jednom sekundom: nikada ne idi ispod toga za prvi pokušaj.
Skaliranje: Reguliraj prije nego što zakažeš
Kod aplikacija s velikim prometom, reakcija na odgovore 429 više nije dovoljna; bolje ih je izbjeći. Ograničivač stope na strani klijenta (client-side rate limiter) ograničava broj istodobnih poziva i nameće minimalni razmak između slanja, tako da izlazno opterećenje ostaje ispod stropa umjesto da ga stalno testira.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Primijeti namjernu marginu: 25 zahtjeva u sekundi umjesto dopuštenih 30. Ta rezerva apsorbira nepravilnosti mreže i nagleske prometa bez ikakvog dosezanja stropa.
Prekidač strujnog kruga (circuit breaker) zaokružuje postavku prekidanjem poziva kada se neuspjesi nagomilaju. Dok je zatvoren, zahtjevi prolaze normalno. Nakon određenog broja uzastopnih neuspjeha, otvara se i lokalno odbija sve zahtjeve tijekom konfiguriranog trajanja: prestaješ „tupati“ po API-ju koji te odbija, a tvoje niti ostaju dostupne za ostatak aplikacije. Kada istekne kašnjenje, prelazi u poluotvoreno stanje i propušta jedan testni zahtjev; ako uspije, normalan promet se nastavlja, inače se brojač resetira. Taj mehanizam štiti tvoj servis jednako koliko i API na drugoj strani.
Tretiraj 429 kao metrika
Još jedan refleks koji često nedostaje u integracijama: instrumentiraj stopu odgovora 429. Ta brojka ne mjeri kvalitetu tvog koda za ponovne pokušaje; ona mjeri usklađenost tvoje razine usluge s tvojim stvarnim prometom. Krivulja koja raste iz tjedna u tjedan signalizira nedovoljnu dimenzioniranost daleko prije nego što se korisnici počnu žaliti i daje ti vremena da djeluješ smireno – raspodijeli opterećenje, planiraj nadogradnju razine usluge – umjesto da improviziraš petkom navečer.
Ključne točke
- HTTP kod 429 signalizira premašenje RPM ili TPM ograničenja
- Eksponencijalno povlačenje s jitterom strategija je koju preporučuje xAI
- U proizvodnji nadopuni povlačenje ograničivačem stope na strani klijenta i prekidačem strujnog kruga
- Nikada ne ponavljaj pokušaj odmah: pričekaj barem 1 sekundu prije prvog ponovnog pokušaja
- Prati stopu odgovora 429 u svojim metrikama kao indikator nedovoljne dimenzioniranosti