HTTP 429 ja eksponentiaalinen viive
Tällä sivulla
Rajoitusten ylitysten käsittely
Heti kun sovelluksesi saavuttaa RPM- tai TPM-rajoituksensa, Grok API vastaa HTTP 429 -statuskoodilla (Too Many Requests). Tulkitse tämä koodi oikein: se ei ole palvelukatko, vaan vuonsäätösignaali. API kertoo “hidasta vauhtia”, ei “järjestelmä on rikki”. Robustin ja hauraan integraation ero piilee siinä, miten koodisi tulkitsee tämän eron. Virheellisesti käsitelty 429-virhe ei jää eristetyksi: se vyöryy jonon läpi, vaikuttaa kutsuviin palveluihin ja päättyy lopulta loppukäyttäjälle näkyvänä häiriönä.
Mitä ei kannata tehdä
Vaistonvarainen reaktio epäonnistuneeseen pyyntöön on lähettää se uudelleen välittömästi. Tämä on täysin väärä liike. Olit jo ylittänyt kiintiösi; lähettämällä pyynnön heti uudelleen kulutat ylimääräisen kutsun, joka epäonnistuu myös, ja pidennät estoaikaa sen sijaan, että lyhentäisit sitä. Ääretön uudelleenyritys pahentaa tilannetta sitomalla säikeitä turhaan. Toisaalta 429-virheen kohteleminen pysyvänä virheenä ja luovuttaminen vie käyttäjältäsi tuloksen, joka olisi saapunut muutama sekunti myöhemmin. Oikea lähestymistapa on näiden välissä: yritä uudelleen, mutta odota, ja pidennä odotusaikaa joka kerralla.
Eksponentiaalinen viive (Exponential Backoff)
Periaate on kaksinkertaistaa viive jokaisen epäonnistuneen yrityksen jälkeen ja lisätä siihen satunnainen vaihtelu, jota kutsutaan jitteriksi.
import time
import random
def call_with_retry(request, max_retries=5):
for attempt in range(max_retries):
response = send_request(request)
if response.status_code != 429:
return response
base_delay = 2 ** attempt # 1, 2, 4, 8, 16 seconds
jitter = random.uniform(0, base_delay * 0.5)
delay = base_delay + jitter
time.sleep(delay)
raise Exception("Retry limit reached")
Jitter ansaitsee huomiota, sillä se on rivi, joka useimmiten poistetaan olettaen sen vain mutkistavan koodia tarpeettomasti. Kuvittele kolmekymmentä palveluinstanssia, jotka vastaanottavat 429-virheen samaan sekuntiin. Ilman jitteriä ne kaikki laskevat saman viiveen ja yrittävät uudelleen täsmälleen samaan aikaan: olet toistanut kuormituspiikin identtisenä sekunnin, kahden, sitten neljän kuluttua. Tätä kutsutaan thundering herd -ilmiöksi. Satunnaistaminen levittää yritykset ajallisesti ja rikkoo tämän tahattoman synkronoinnin. Huomaa myös, että perusviive alkaa yhdestä sekunnista: älä koskaan mene tämän alle ensimmäisellä yrityksellä.
Skaalaus: Säätely ennen epäonnistumista
Suuren volyymin sovelluksissa pelkkä 429-virheisiin reagoiminen ei enää riitä; on parempi välttää niitä kokonaan. Asiakaspuolen nopeusrajoitin (rate limiter) rajoittaa samanaikaisten kutsujen määrää ja valvoo lähetysten välistä vähimmäisetäisyyttä, jolloin lähtevä kuorma pysyy katon alapuolella sen sijaan, että sitä testattaisiin jatkuvasti.
import asyncio
from asyncio import Semaphore
# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)
async def limited_request(payload):
async with semaphore:
response = await send_request_async(payload)
await asyncio.sleep(1.0 / 25) # minimum spacing
return response
Huomaa tarkoituksellinen marginaali: 25 pyyntöä sekunnissa sallitun 30 sijaan. Tämä varanto absorboi verkon epäsäännöllisyydet ja liikenteen piikit osuutumatta koskaan kattoon.
Piirikatkaisija (circuit breaker) täydentää kokonaisuuden katkaisemalla kutsut, kun epäonnistumisia kertyy. Suljetussa tilassa pyynnöt kulkevat normaalisti. Määritetyn määrän peräkkäisiä epäonnistumisia jälkeen se avautuu ja kieltää paikallisesti kaikki pyynnöt määritetyksi ajaksi: lopetat API:n pommituksen, joka hylkää pyyntösi, ja säikeesi pysyvät vapaina sovelluksen muuta toimintaa varten. Kun viive päättyy, tila siirtyy puoliksi auki (half-open) ja päästää läpi yhden testipyynnön; jos se onnistuu, normaali liikenne jatkuu, muuten laskuri nollautuu. Tämä mekanismi suojaa palveluasi yhtä paljon kuin vastapuolen API:a.
Kohtele 429:ää mittarina
Viimeinen рефлекti, joka usein puuttuu integraatioista: mittaa 429-virheiden määrää. Tämä luku ei mittaa uudelleenyrityskoodisi laatua, vaan sopivuutta tilaustason ja todellisen liikenteesi välillä. Viikko viikolta nouseva käyrä signaloi alimitoitusta kauan ennen kuin käyttäjät valittavat, ja antaa sinulle aikaa toimia rauhallisesti – jakaa kuormaa, budjetoida tilaustason päivitys – sen sijaan, että improvisoisit perjantai-iltana.
Keskeiset asiat
- HTTP 429 -koodi signaloi RPM- tai TPM-rajoituksen ylittymistä
- Eksponentiaalinen viive jitterillä on xAI:n suosittelema strategia
- Tuotannossa täydennä viivettä asiakaspuolen nopeusrajoittimella ja piirikatkaisijalla
- Älä koskaan yritä uudelleen välittömästi: odota vähintään 1 sekunti ennen ensimmäistä uudelleenyritystä
- Seuraa 429-virheiden määrää mittareissasi osoituksena alimitoituksesta