Εκθετική Υποχώρηση σε HTTP 429
Σε αυτήν τη σελίδα
Κατανόηση του Σφάλματος 429
Ένα σφάλμα HTTP 429 σημαίνει ότι έχετε υπερβεί τα όρια ρυθμού (rate limits) του API. Ο διακομιστής xAI απορρίπτει προσωρινά τα αιτήματά σας για να προστατεύσει την υποδομή. Αυτό το σφάλμα είναι φυσιολογικό σε ένα περιβάλλον επεξεργασίας παρτίδων (batch processing): απλώς υποδεικνύει ότι στέλνετε αιτήματα πολύ γρήγορα.
Η κατάλληλη αντίδραση δεν είναι να εγκαταλείψετε, αλλά να περιμένετε πριν δοκιμάσετε ξανά. Η εκθετική υποχώρηση (exponential backoff) είναι η στάνταρ στρατηγική για τη διαχείριση αυτής της κατάστασης.
Πώς Λειτουργεί η Εκθετική Υποχώρηση
Αντί να δοκιμάσετε ξανά αμέσως (κάτι που θα προκαλούσε άλλο ένα 429), περιμένετε μια αυξανόμενη καθυστέρηση μεταξύ κάθε προσπάθειας:
- 1η αποτυχία: αναμονή 1 δευτερολέπτου
- 2η αποτυχία: αναμονή 2 δευτερολέπτων
- 3η αποτυχία: αναμονή 4 δευτερολέπτων
- 4η αποτυχία: αναμονή 8 δευτερολέπτων
- 5η αποτυχία: εγκατάλειψη
Η καθυστέρηση διπλασιάζεται με κάθε προσπάθεια, εξ ου και ο όρος «εκθετική». Αυτό δίνει χρόνο στον διακομιστή να ανακτήσει χωρητικότητα.
Χειροκίνητη Υλοποίηση
import asyncio
import random
from openai import RateLimitError
async def request_with_backoff(
prompt: str,
max_retries: int = 5,
base_delay: float = 1.0
) -> str:
for attempt in range(max_retries):
try:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
except RateLimitError:
if attempt == max_retries - 1:
raise # last attempt, propagate the error
delay = base_delay * (2 ** attempt)
jitter = random.uniform(0, delay * 0.1)
wait_time = delay + jitter
print(f"Rate limit hit, attempt {attempt + 1}/{max_retries}. "
f"Waiting {wait_time:.1f}s")
await asyncio.sleep(wait_time)
Το jitter (τυχαία διακύμανση) είναι σημαντικό. Εάν πολλές συρoutines (coroutines) λάβουν ένα 429 ταυτόχρονα, χωρίς jitter θα δοκίμαζαν όλες ξανά ακριβώς την ίδια στιγμή, προκαλώντας άλλο ένα 429. Το jitter αποσυγχρονίζει τις προσπάθειες.
Χρήση της Βιβλιοθήκης tenacity
Για χρήση σε παραγωγή, η βιβλιοθήκη tenacity απλοποιεί την υλοποίηση:
from tenacity import (
retry,
stop_after_attempt,
wait_exponential,
retry_if_exception_type
)
from openai import RateLimitError
@retry(
stop=stop_after_attempt(5),
wait=wait_exponential(multiplier=1, min=1, max=60),
retry=retry_if_exception_type(RateLimitError)
)
async def robust_request(prompt: str) -> str:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
return response.choices[0].message.content
Ο διακοσμητής @retry αναχαιτίζει το RateLimitError, περιμένει μια εκθετική καθυστέρηση (μεταξύ 1 και 60 δευτερολέπτων) και δοκιμάζει ξανά έως και 5 φορές. Ο κώδικας της συνάρτησης παραμένει καθαρός και ευανάγνωστος.
Συνδυασμός Υποχώρησης και Semaphore
Στην πράξη, συνδυάζετε την υποχώρηση με ένα semaphore για πλήρη έλεγχο:
async def resilient_batch(prompts: list[str], max_concurrent: int = 5) -> list[str]:
sem = Semaphore(max_concurrent)
async def single_request(prompt: str) -> str:
async with sem:
return await request_with_backoff(prompt)
tasks = [single_request(p) for p in prompts]
return await asyncio.gather(*tasks, return_exceptions=True)
Το semaphore αποτρέπει την υπερφόρτωση του API και η υποχώρηση διαχειρίζεται τα υπολειπόμενα σφάλματα 429. Αυτή η διπλή προστασία είναι η συνιστώμενη διαμόρφωση για παραγωγή.
Προσαρμογή της Υποχώρησης στον Τύπο Σφάλματος
Δεν δικαιολογούν όλες οι errors μια επαναπροσπάθεια. Ακολουθεί μια ταξινόμηση:
from openai import RateLimitError, APITimeoutError, APIConnectionError, BadRequestError
async def smart_retry(prompt: str, max_retries: int = 5) -> str:
for attempt in range(max_retries):
try:
return await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
except RateLimitError:
delay = 2 ** attempt
await asyncio.sleep(delay)
except (APITimeoutError, APIConnectionError):
delay = 2 ** attempt
await asyncio.sleep(delay)
except BadRequestError:
raise # error in prompt, retry useless
Τα σφάλματα 429 (όριο ρυθμού), τα timeouts και τα σφάλματα σύνδεσης αξίζουν μια επαναπροσπάθεια. Ωστόσο, ένα BadRequestError (μη έγκυρο prompt) δεν θα λυθεί με επαναπροσπάθεια.
Βασικά σημεία
- Ένα σφάλμα 429 είναι φυσιολογικό και αναμενόμενο κατά την επεξεργασία παρτίδων
- Η εκθετική υποχώρηση διπλασιάζει την καθυστέρηση μεταξύ κάθε προσπάθειας (1δ, 2δ, 4δ, 8δ…)
- Το jitter αποσυγχρονίζει τις νέες προσπάθειες για την αποφυγή συγκρούσεων
- Η βιβλιοθήκη
tenacityαπλοποιεί την υλοποίηση σε περιβάλλον παραγωγής - Συνδυάζετε πάντα semaphore και υποχώρηση για μέγιστη ανθεκτικότητα
- Μην επαναλαμβάνετε αιτήματα με μη έγκυρα σφάλματα (
BadRequestError)