HTTP 429 u Exponential Backoff
F'din il-paġna
Kif timmaniġġja l-qbiż tal-limiti
Hekk kif l-applikazzjoni tiegħek tilħaq il-limiti RPM jew TPM tagħha, l-API ta’ Grok tirrispondi b’kodiċi ta’ status HTTP 429 (Too Many Requests). Aqra dan il-kodiċi għal dak li hu verament: mhux ħsara fis-sistema, iżda sinjal ta’ kontroll tal-fluss. L-API qed tgħidlek “ibbaxxa l-veloċità”, mhux “hemm xi ħaġa miksura”. Id-differenza bejn integrazzjoni robusta u waħda fraġli tiddependi fuq kif il-kodiċi tiegħek jinterpreta din id-distinzjoni. 429 mishandled qatt ma jibqa’ iżolat: jinxtered fil-queue, imbagħad fis-servizzi li qed isejjħu, u jispiċċa bħala inċident viżibbli għall-utent finali.
X’għandek tevita
Ir-rifless istintiv meta talba tfalli huwa li tibgħatha mill-ġdid immedjatament. Dan huwa eżattament l-iżball li għandek tevita. Diġà kont ‘il fuq mill-kwota tiegħek; billi tibgħat mill-ġdid immedjatament, taħraq sejħa addizzjonali li se tfalli wkoll, u ttawwal il-perjodu ta’ blokk minflok ma tqassru. Retry infinit jagħmel il-ħsara akbar billi jorbot threads għal xejn. Bil-maqlub, li tittratta l-429 bħala żball permanenti u tirriżanja ċċaħħad lill-utent tiegħek minn riżultat li kien jiġi ftit sekondi wara. L-approċċ it-tajjeb jinsab bejn iż-żewġ estremi: ipprova mill-ġdid, iżda stenna, u stenna dejjem itwal kull darba.
Exponential Backoff
Il-prinċipju huwa li tirdoppja d-dewmien wara kull tentattiv fallut, u żżid varjazzjoni każwali msejħa jitter.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Il-jitter jistħoqqilu attenzjoni għax huwa l-linja li l-aktar titħassar bl-assunzjoni li tikkumplika l-kodiċi mingħajr bżonn. Imaġina tletin istanza tas-servizz tiegħek li jirċievu 429 fl-istess sekonda. Mingħajr jitter, ilkoll jikkalkulaw l-istess dewmien u jippruvaw mill-ġdid eżattament fl-istess mument: tkun irriproduċejt il-pikka tat-tagħbija bl-istess mod, sekonda wara, imbagħad tnejn, imbagħad erbgħa. Dan huwa l-fenomenu thundering herd. Ir-randomizzazzjoni tferraħ it-tentattivi matul iż-żmien u tkisser din is-sinkronizzazzjoni involontarja. Innota wkoll li d-dewmien bażi jibda minn sekonda waħda: qatt tmur taħt dan għall-ewwel tentattiv.
Skalar: Irregola qabel ma tfalli
Fuq applikazzjoni b’volum għoli, li tirreaġixxi għal 429s m’għadx biżżejjed; huwa aħjar li tevithom. Rate limiter fuq in-naħa tal-klijent jillimita n-numru ta’ sejħiet konkorrenti u jinfurża spazjar minimu bejn l-ibgħat, sabiex it-tagħbija li toħroġ tibqa’ taħt is-saqaf minflok ma tittestjah kontinwament.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Innota l-marġni deliberat: 25 talba kull sekonda minflok it-30 permessi. Din ir-riżerva tassorbi l-irregolaritajiet tan-network u l-bursts tat-traffiku mingħajr qatt ma tilħaq is-saqaf.
Iċ-circuit breaker jikkompleta s-setup billi jaqta’ s-sejħiet meta l-fallimenti jakkumulaw. Meta jkun magħluq, it-talbiet jgħaddu normalment. Wara numru stabbilit ta’ fallimenti konsekuttivi, jiftaħ u jirrifjuta lokalment it-talbiet kollha għal durata kkonfigurata: tieqaf tħabbat fuq API li qed tirrifjutak, u t-threads tiegħek jibqgħu disponibbli għall-bqija tal-applikazzjoni. Meta d-dewmien jiskadi, jgħaddi għal half-open u jħalli tgħaddi talba waħda ta’ test; jekk tirnexxi, it-traffiku normali jkompli, inkella l-kontawter jiġi rrisettjat. Dan il-mekkaniżmu jipproteġi s-servizz tiegħek daqs kemm jipproteġi l-API fuq in-naħa l-oħra.
Ittratta l-429 bħala Metrika
Rifless finali, li spiss jonqos mill-integrazzjonijiet: agħmel strumentazzjoni tar-rata ta’ 429. Din iċ-ċifra ma tkejjilx il-kwalità tal-kodiċi tar-retry tiegħek; tkejjel kemm il-pjan tiegħek (tier) jaqbel mat-traffiku attwali tiegħek. Kurva li titla’ ġimgħa wara ġimgħa tissuġġerixxi li d-daqs huwa insuffiċjenti ferm qabel ma l-utenti jilmentaw, u tagħtik il-ħin biex taġixxi b’kalma—ferraħ it-tagħbija, ibbaġitja upgrade tal-pjan—minflok ma timprovvisa fi għaxija ta’ Ġimgħa.
Punti Ewlenin
- Il-kodiċi HTTP 429 jindika qbiż tal-limitu RPM jew TPM
- Exponential backoff b’jitter hija l-istrateġija rrakkomandata minn xAI
- Fil-produzzjoni, ikkomplementa l-backoff b’rate limiter fuq in-naħa tal-klijent u circuit breaker
- Qatt tipprova mill-ġdid immedjatament: stenna mill-inqas sekonda waħda qabel l-ewwel retry
- Immonitorja r-rata ta’ 429 fil-metriċi tiegħek bħala indikatur ta’ daqs insuffiċjenti