Eksponentno nazadovanje pri napaki HTTP 429
Na tej strani
Razumevanje napake 429
Napaka HTTP 429 pomeni, da si presegel omejitve hitrosti (rate limits) API-ja. Strežnik xAI začasno zavrne tvoje zahteve, da bi zaščitil infrastrukturo. Ta napaka je v kontekstu serijske obdelave povsem običajna: preprosto kaže, da pošiljaš zahteve prehitro.
Pravilen odziv ni odpoved, temveč počakati pred ponovnim poskusom. Eksponentno nazadovanje (exponential backoff) je standardna strategija za obravnavo tega primera.
Kako deluje eksponentno nazadovanje
Namesto takojšnjega ponovnega poskusa (ki bi sprožil novo napako 429), med vsakim poskusom čakaš vse daljši čas:
-
- neuspeh: počakaj 1 sekundo
-
- neuspeh: počakaj 2 sekundi
-
- neuspeh: počakaj 4 sekunde
-
- neuspeh: počakaj 8 sekund
-
- neuspeh: odnehaj
Zakasnitev se z vsakim poskusom podvoji, od tod izraz „eksponentno”. S tem strežniku daš čas, da si opomore in sprosti zmogljivost.
Ročna implementacija
import asyncio
import random
from openai import RateLimitError
async def request_with_backoff(
prompt: str,
max_retries: int = 5,
base_delay: float = 1.0
) -> str:
for attempt in range(max_retries):
try:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except RateLimitError:
if attempt == max_retries - 1:
raise # last attempt, propagate the error
delay = base_delay * (2 ** attempt)
jitter = random.uniform(0, delay * 0.1)
wait_time = delay + jitter
print(f"Rate limit hit, attempt {attempt + 1}/{max_retries}. "
f"Waiting {wait_time:.1f}s")
await asyncio.sleep(wait_time)
Parameter jitter (naključna variacija) je ključen. Če več korutin hkrati prejme napako 429, bi brez jitterja vse ponovile poskus točno ob istem trenutku, kar bi sprožilo novo napako 429. Jitter desinhronizira poskuse.
Uporaba knjižnice tenacity
Za produkcijsko uporabo knjižnica tenacity poenostavi implementacijo:
from tenacity import (
retry,
stop_after_attempt,
wait_exponential,
retry_if_exception_type
)
from openai import RateLimitError
@retry(
stop=stop_after_attempt(5),
wait=wait_exponential(multiplier=1, min=1, max=60),
retry=retry_if_exception_type(RateLimitError)
)
async def robust_request(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
Dekorator @retry prestreže napako RateLimitError, počaka eksponentno določen čas (med 1 in 60 sekundami) in poskusi znova do 5-krat. Koda funkcije ostane čista in berljiva.
Kombinacija nazadovanja in semaforja
V praksi združiš nazadovanje s semaforjem za popoln nadzor:
async def resilient_batch(prompts: list[str], max_concurrent: int = 5) -> list[str]:
sem = Semaphore(max_concurrent)
async def single_request(prompt: str) -> str:
async with sem:
return await request_with_backoff(prompt)
tasks = [single_request(p) for p in prompts]
return await asyncio.gather(*tasks, return_exceptions=True)
Semafor prepreči preobremenitev API-ja, nazadovanje pa obravnava preostale napake 429. Ta dvojna zaščita je priporočena konfiguracija za produkcijska okolja.
Prilagajanje nazadovanja vrsti napake
Ni vsaka napaka razlog za ponovni poskus. Tukaj je razvrstitev:
from openai import RateLimitError, APITimeoutError, APIConnectionError, BadRequestError
async def smart_retry(prompt: str, max_retries: int = 5) -> str:
for attempt in range(max_retries):
try:
return await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
except RateLimitError:
delay = 2 ** attempt
await asyncio.sleep(delay)
except (APITimeoutError, APIConnectionError):
delay = 2 ** attempt
await asyncio.sleep(delay)
except BadRequestError:
raise # error in prompt, retry useless
Napake 429 (omejitev hitrosti), časovne omejitve (timeout) in napake povezave si zaslužijo ponovni poskus. Nasprotno pa napaka BadRequestError (neveljaven poziv) s ponovnim poskusom ne bo odpravljena.
Ključne ugotovitve
- Napaka 429 je med serijsko obdelavo normalna in pričakovana
- Eksponentno nazadovanje podvoji zakasnitev med poskusi (1 s, 2 s, 4 s, 8 s …)
- Jitter desinhronizira nove poskuse in prepreči trke
- Knjižnica
tenacitypoenostavi implementacijo v produkcijskem okolju - Za največjo odpornost vedno združi semafor in eksponentno nazadovanje
- Ne ponavljaj zahtev z neveljavnimi napakami (
BadRequestError)