HTTP 429 și Exponential Backoff
Pe această pagină
Gestionarea depășirii limitelor
Imediat ce aplicația dumneavoastră atinge limitele de RPM sau TPM, API-ul Grok răspunde cu un cod de stare HTTP 429 (Too Many Requests). Interpretați acest cod exact așa cum este: nu indică o pană, ci un semnal de control al fluxului. API-ul vă spune „încetiniți“, nu „s-a stricat“. Diferența dintre o integrare robustă și una fragilă constă în modul în care codul dumneavoastră interpretează această distincție. Un cod 429 gestionat incorect nu rămâne niciodată izolat: se propagă prin coadă, apoi către serviciile apelante și se transformă într-un incident vizibil pentru utilizatorul final.
Ce să nu faceți
Reacția instinctivă atunci când o cerere eșuează este retransmiterea imediată a acesteia. Aceasta este exact greșeala de evitat. Depășeați deja cota; retransmițând imediat, consumați o apelare suplimentară care va eșua la rândul ei și prelungiți perioada de blocare în loc să o scurtați. O reîncercare infinită agravează situația blocând fire de execuție degeaba. În schimb, tratarea codului 429 ca o eroare permanentă și renunțarea privează utilizatorul de un rezultat care ar fi sosit câteva secunde mai târziu. Abordarea corectă se situează între cele două: reîncercați, dar așteptați, și măriți timpul de așteptare la fiecare încercare.
Exponential Backoff
Principiul constă în dublarea întârzierii după fiecare încercare eșuată, adăugând o variație aleatorie numită jitter.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Jitter merită o atenție deosebită, deoarece este linia cea mai adesea ștearsă sub pretextul că complică inutil codul. Imaginați-vă treizeci de instanțe ale serviciului dumneavoastră care primesc un cod 429 în aceeași secundă. Fără jitter, toate calculează aceeași întârziere și reîncearcă exact în același moment: ați reprodus identic vârful de sarcină, o secundă mai târziu, apoi două, apoi patru. Acesta este fenomenul thundering herd. Randomizarea distribuie încercările în timp și rupe această sincronizare involuntară. Rețineți, de asemenea, că întârzierea de bază începe de la o secundă: nu coborâți niciodată sub această valoare pentru prima încercare.
Scalare: Reglați înainte de a eșua
În cazul unei aplicații cu volum mare, reacționarea la codurile 429 nu mai este suficientă; este mai bine să le evitați. Un limitator de rată (rate limiter) lato-client limitează numărul de apeluri concurente și impune un spațiu minim între trimiteri, astfel încât sarcina de ieșire să rămână sub plafon, în loc să îl testeze constant.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Observați marja deliberată: 25 de cereri pe secundă în loc de 30, cât este permis. Această rezervă absoarbe neregularitățile rețelei și vârfurile de trafic fără a atinge vreodată plafonul.
Întrerupătorul de circuit (circuit breaker) completează configurația prin întreruperea apelurilor atunci când eșecurile se acumulează. Cât timp este închis, cererile trec normal. După un număr stabilit de eșecuri consecutive, acesta se deschide și refuză local toate cererile pentru o durată configurată: încetați să bombardați un API care vă respinge, iar firele de execuție rămân disponibile pentru restul aplicației. Când expiră întârzierea, trece în starea semi-deschisă (half-open) și permite trecerea unei singure cereri de test; dacă reușește, traficul normal reia cursul, în caz contrar contorul se resetează. Acest mecanism vă protejează serviciul la fel de mult ca și API-ul din capătul celălalt.
Tratați codul 429 ca o metrică
Un ultim reflex, adesea lipsă din integrări: instrumentați rata codurilor 429. Această cifră nu măsoară calitatea codului de reîncercare, ci adecvarea nivelului dumneavoastră de serviciu la traficul real. O curbă care crește săptămână de săptămână semnalează o dimensionare insuficientă cu mult înainte ca utilizatorii să se plângă și vă oferă timp să acționați calm—distribuiți sarcina, bugetați o actualizare a nivelului de serviciu—în loc să improvizați într-o vineri seara.
Puncte cheie
- Codul HTTP 429 semnalează depășirea limitelor de RPM sau TPM
- Exponential backoff cu jitter este strategia recomandată de xAI
- În producție, completați backoff-ul cu un limitator de rată lato-client și un întrerupător de circuit
- Nu reîncercați niciodată imediat: așteptați cel puțin 1 secundă înainte de prima reîncercare
- Monitorizați rata codurilor 429 în metricile dumneavoastră ca indicator al unei dimensionări insuficiente