HTTP 429 och exponentiell backoff
På denna sida
Hantera överskridanden av gränser
Så fort din applikation når sina gränser för RPM eller TPM svarar Grok API:et med statuskoden HTTP 429 (Too Many Requests). Läs denna kod för vad den är: inte ett driftstopp, utan en signal för flödeskontroll. API:et säger “sakta ner”, inte “det är trasigt”. Skillnaden mellan en robust integration och en skör handlar om hur din kod tolkar denna distinktion. En felhanterad 429 stannar aldrig isolerad: den kaskaderar genom kön, vidare till anropande tjänster och slutar som en incident synlig för slutanvändaren.
Vad du inte ska göra
Den instinktiva reaktionen när en begäran misslyckas är att skicka om den omedelbart. Detta är exakt fel sak att göra. Du hade redan överskridit din kvot; genom att skicka om omedelbart förbrukar du ett ytterligare anrop som också kommer att misslyckas, och du förlänger blockeringsperioden istället för att förkorta den. En oändlig återförsökning förvärrar läget genom att binda upp trådar i onödan. Å andra sidan innebär det att behandla 429 som ett permanent fel och ge upp att du berövar din användare ett resultat som hade kommit några sekunder senare. Den rätta vägen ligger mellan dessa två: försök igen, men vänta, och vänta längre varje gång.
Exponentiell backoff
Principen är att fördubbla fördröjningen efter varje misslyckat försök, med tillägg av en slumpmässig variation som kallas jitter.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Jitter förtjänar uppmärksamhet eftersom det är den rad som oftast raderas under antagandet att den onödigt komplicerar koden. Tänk dig trettio instanser av din tjänst som får en 429 vid samma sekund. Utan jitter beräknar de alla samma fördröjning och försöker igen vid exakt samma tidpunkt: du har återskapat lasttoppen identiskt, en sekund senare, sedan två, sedan fyra. Detta är fenomenet thundering herd. Slumpmässiggöring sprider försöken över tid och bryter denna ofrivilliga synkronisering. Notera också att basfördröjningen börjar på en sekund: gå aldrig under detta för det första försöket.
Skalning: Reglera innan du misslyckas
På en applikation med hög volym räcker det inte längre att reagera på 429-or; det är bättre att undvika dem. En hastighetsbegränsare på klientsidan capar antalet samtidiga anrop och upprätthåller ett minsta avstånd mellan sändningar, så att den utgående lasten hålls under taket istället för att ständigt testa det.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Lägg märke till den avsiktliga marginalen: 25 begäranden per sekund istället för de tillåtna 30. Denna reserv absorberar nätverksoregelbundenheter och trafiktoppar utan att någonsin träffa taket.
Kretsbrytaren kompletterar setupen genom att bryta anropen när misslyckanden hopar sig. När den är stängd passerar begäranden normalt. Efter ett bestämt antal på varandra följande misslyckanden öppnas den och vägrar lokalt alla begäranden under en konfigurerad tid: du slutar hamra på ett API som vägrar dig, och dina trådar förblir tillgängliga för resten av applikationen. När fördröjningen löper ut går den till halvöppet läge och släpper igenom en enda testbegäran; om den lyckas återupptas normal trafik, annars nollställs räknaren. Denna mekanism skyddar din tjänst lika mycket som API:et på andra sidan.
Behandla 429 som en metrik
En sista reflex som ofta saknas i integrationer: instrumentera 429-frekvensen. Denna siffra mäter inte kvaliteten på din återförsökskod; den mäter passformen mellan din nivå och din faktiska trafik. En kurva som stiger vecka efter vecka signalerar underdimensionering långt innan användarna klagar, och ger dig tid att agera lugnt – distribuera last, budgetera för en nivåhöjning – istället för att improvisera en fredagskväll.
Viktiga punkter
- HTTP-koden 429 signalerar att gränsen för RPM eller TPM har överskridits
- Exponentiell backoff med jitter är den strategi som rekommenderas av xAI
- I produktion bör du komplettera backoff med en hastighetsbegränsare på klientsidan och en kretsbrytare
- Försök aldrig igen omedelbart: vänta minst 1 sekund innan första återförsöket
- Övervaka 429-frekvensen i dina metrik som en indikator på underdimensionering