HTTP 429 un eksponenciālā atkāpšanās
Šajā lapā
Kā rīkoties, pārsniedzot limitus
Tiklīdz tava lietotne sasniedz RPM vai TPM limitus, Grok API atbild ar HTTP 429 statusa kodu (Too Many Requests). Uztver šo kodu tieši tā, kāds tas ir: tas nav pārtraukums, bet gan plūsmas kontroles signāls. API saka „palēnini”, nevis „tas ir salauzts”. Atšķirība starp stabilu un trauslu integrāciju slēpjas tajā, kā tavs kods interpretē šo niansi. Nepareizi apstrādāts 429 nekad nepaliek izolēts: tas izplatās pa rindu, tālāk uz izsaucošajiem servisiem un beidzas kā incidents, ko redz gala lietotājs.
Ko nedarīt
Instinktīvā reakcija, kad pieprasījums neizdodas, ir nosūtīt to atkārtoti nekavējoties. Tas ir tieši tas, ko darīt nevajadzētu. Tu jau biji pārsniedzis savu kvotu; nosūtot pieprasījumu uzreiz, tu iztērē vēl vienu izsaukumu, kas arī neizdosies, un pagarināsi bloķēšanas periodu, nevis saīsināsi to. Bezgalīga atkārtošana tikai pasliktina situāciju, lieki noslogojot pavedienus. Turpretī, uztverot 429 kā neatgriezenisku kļūdu un padodoties, tu liec lietotājam zaudēt rezultātu, kas būtu pienācis pēc dažām sekundēm. Pareizā pieeja atrodas pa vidu: atkārto, bet gaidi, un ar katru reizi gaidi ilgāk.
Eksponenciālā atkāpšanās
Princips ir dubultot aizkavi pēc katras neveiksmīgās mēģinājuma, pievienojot nejaušu variāciju, ko sauc par „jitter”.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
„Jitter” ir pelnījis uzmanību, jo tā ir rinda, ko visbiežāk dzēš, pieņemot, ka tā nevajadzīgi sarežģī kodu. Iedomājies trīsdesmit tava servisa instances, kas vienā un tajā pašā sekundē saņem 429. Bez „jitter” tās visas aprēķina vienādu aizkavi un mēģina atkārtoti tieši vienlaicīgi: tu esi reproducējis slodzes pīķi identiski, tikai par sekundi vēlāk, tad par divām, tad par četrām. Tas ir thundering herd (pēkšņa bara) fenomens. Nejaušināšana izklāj mēģinājumus laikā un lauž šo piespiedu sinhronizāciju. Ņem vērā arī to, ka bāzes aizkave sākas no vienas sekundes: nekad nesamazini to zem šī sliekšņa pirmajam mēģinājumam.
Mērogošana: regulē pirms kļūdas
Liela apjoma lietotnēs reaģēt uz 429 kļūdām vairs nepietiek; labāk ir tās novērst. Klienta puses ātruma ierobežotājs (rate limiter) ierobežo vienlaicīgo izsaukumu skaitu un nodrošina minimālu intervālu starp sūtījumiem, lai izejošā slodze paliktu zem griestiem, nevis pastāvīgi tos testētu.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Ievēro apzināti atstāto rezervi: 25 pieprasījumi sekundē, nevis atļautie 30. Šī rezerve absorbē tīkla nestabilitāti un satiksmes uzplūdus, nekad nesasniedzot griestus.
Ķēdes pārtraucējs (circuit breaker) papildina šo iestatījumu, pārtraucot izsaukumus, ja kļūdas sāk uzkrāties. Kamēr tas ir aizvērts, pieprasījumi tiek apstrādāti parasti. Pēc noteikta secīgu kļūdu skaita tas atveras un lokāli noraida visus pieprasījumus uz konfigurētu laika posmu: tu pārtrauc „bombardēt” API, kas tevi noraida, un tavi pavedieni paliek pieejami pārējai lietotnei. Kad aizkave beidzas, tas pāriet pusatvērtā (half-open) stāvoklī un laiž cauri vienu testa pieprasījumu; ja tas izdodas, normāla satiksme atsākas, pretējā gadījumā skaitītājs tiek atiestatīts. Šis mehānisms aizsargā gan tavu servisu, gan API otrā galā.
Uztver 429 kā metrikas rādītāju
Vēl viens reflekss, kas integrācijās bieži trūkst: instrumentē 429 biežumu. Šis skaitlis nemēra tava atkārtošanas koda kvalitāti; tas mēra atbilstību starp tavu tarifu plānu un faktisko satiksmi. Līkne, kas nedēļu no nedēļas kāpj, signalizē par nepietiekamu jaudu ilgi pirms lietotāji sāk sūdzēties, un dod laiku rīkoties mierīgi – sadalīt slodzi, ieplānot tarifu plāna maiņu – nevis improvizēt piektdienas vakarā.
Galvenās atziņas
- HTTP 429 kods signalizē par RPM vai TPM limita pārsniegšanu
- Eksponenciālā atkāpšanās ar „jitter” ir xAI ieteiktā stratēģija
- Produkcijas vidē papildini atkāpšanos ar klienta puses ātruma ierobežotāju un ķēdes pārtraucēju
- Nekad neatkārto uzreiz: pirms pirmā atkārtojuma gaidi vismaz 1 sekundi
- Uzraugi 429 biežumu savās metrikās kā nepietiekamas jaudas indikatoru