HTTP 429 en Exponentiële Backoff
Op deze pagina
Omgaan met limietoverschrijdingen
Zodra uw applicatie de RPM- of TPM-limieten bereikt, reageert de Grok API met een HTTP 429-statuscode (Too Many Requests). Lees deze code voor wat hij is: geen storing, maar een signaal voor stroomregeling. De API zegt “langzamer aan”, niet “het is kapot”. Het verschil tussen een robuuste integratie en een kwetsbare zit hem in hoe uw code dit onderscheid interpreteert. Een verkeerd afgehandelde 429 blijft nooit geïsoleerd: deze plant zich voort door de wachtrij, naar aanroepende services en eindigt als een incident dat zichtbaar is voor de eindgebruiker.
Wat u niet moet doen
De instinctieve reactie wanneer een verzoek mislukt, is het onmiddellijk opnieuw verzenden. Dit is precies de verkeerde zet. U zat al boven uw quotum; door direct opnieuw te sturen, verbruikt u een extra call die ook zal mislukken, en verlengt u de blokkeerperiode in plaats van deze te verkorten. Een oneindige retry maakt de situatie erger door threads voor niets vast te houden. Andersom leidt het behandelen van de 429 als een permanente fout en het opgeven ervan ertoe dat uw gebruiker verstoken blijft van een resultaat dat enkele seconden later wel binnen zou zijn gekomen. De juiste aanpak ligt ertussenin: probeer het opnieuw, maar wacht, en wacht elke keer langer.
Exponentiële backoff
Het principe is om de vertraging na elke mislukte poging te verdubbelen, met toevoeging van een willekeurige variatie die jitter wordt genoemd.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Jitter verdient aandacht omdat dit de regel is die het vaakst wordt verwijderd onder de aanname dat het de code onnodig ingewikkeld maakt. Stel u dertig instanties van uw service voor die op dezelfde seconde een 429 ontvangen. Zonder jitter berekenen ze allemaal dezelfde vertraging en proberen ze op exact hetzelfde moment opnieuw: u reproduceert de piek in belasting identiek, één seconde later, dan twee, dan vier. Dit is het thundering herd-fenomeen. Randomisatie spreidt de pogingen over de tijd en doorbreekt deze onvrijwillige synchronisatie. Merk ook op dat de basisvertraging begint bij één seconde: ga voor de eerste poging nooit lager dan dit.
Schalen: reguleer voordat u faalt
Bij een applicatie met een hoog volume is reageren op 429’s niet langer voldoende; het is beter om ze te voorkomen. Een client-side rate limiter beperkt het aantal gelijktijdige calls en handhaaft een minimale tussenpoos tussen verzendingen, zodat de uitgaande belasting onder het plafond blijft in plaats van dit constant te testen.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Let op de bewuste marge: 25 verzoeken per seconde in plaats van de toegestane 30. Deze reserve vangt netwerkonregelmatigheden en verkeerspieken op zonder ooit het plafond te raken.
De circuit breaker maakt de opzet compleet door calls af te kappen wanneer fouten zich opstapelen. Zolang deze gesloten is, passeren verzoeken normaal. Na een ingesteld aantal opeenvolgende fouten opent deze en weigert deze lokaal alle verzoeken voor een geconfigureerde duur: u stopt met het bestoken van een API die u weigert, en uw threads blijven beschikbaar voor de rest van de applicatie. Wanneer de vertraging verstrijkt, schakelt deze over naar half-open en laat één testverzoek door; als dit slaagt, hervat het normale verkeer, anders wordt de teller gereset. Dit mechanisme beschermt uw service evenzeer als de API aan de andere kant.
Behandel 429 als een metriek
Een laatste reflex die vaak ontbreekt in integraties: instrumenteer het 429-percentage. Dit cijfer meet niet de kwaliteit van uw retry-code; het meet de match tussen uw tier en uw daadwerkelijke verkeer. Een curve die week na week stijgt, signaleert onderdimensionering lang voordat gebruikers klagen, en geeft u de tijd om rustig te handelen—belasting verdelen, budgetteren voor een tier-upgrade—in plaats van op een vrijdagavond te improviseren.
Belangrijkste punten
- HTTP 429-code signaleert een overschrijding van de RPM- of TPM-limiet
- Exponentiële backoff met jitter is de strategie die wordt aanbevolen door xAI
- Vul in productie backoff aan met een client-side rate limiter en een circuit breaker
- Probeer nooit direct opnieuw: wacht minimaal 1 seconde voordat u de eerste retry uitvoert
- Monitor het 429-percentage in uw metrieken als indicator voor onderdimensionering