Lähe põhisisu juurde
Eesti— Vali keel
Menüü

HTTP 429 ja eksponentsiaalne tagasivõtmine

Õppetund 3 / 14 Värskendatud 29. juuli 2026 Edasijõudnutele
Sellel lehel
  1. Piirangute ületamise käsitlemine
  2. Mida mitte teha
  3. Eksponentsiaalne tagasivõtmine
  4. Skaleerumine: reguleeri enne ebaõnnestumist
  5. Käsitle 429 kui meetrikat
  6. Peamised punktid

Piirangute ületamise käsitlemine

Niipea kui sinu rakendus jõuab oma RPM-i või TPM-i piiranguteni, vastab Grok API HTTP olekukoodiga 429 (Too Many Requests). Tõlgenda seda koodi täpselt nii, nagu see on mõeldud: see ei tähenda riket, vaid voogu reguleerivat signaali. API ütleb „aeglusta“, mitte „see on katki“. Robustse ja habras integratsiooni vaheline erinevus seisneb selles, kuidas sinu kood seda eristust tõlgendab. Valesti käsitletud 429 ei jää kunagi isoleerituks: see levib järjekorras edasi, jõuab kutsevate teenusteni ja lõpeb lõppkasutajale nähtava intsidentina.

Mida mitte teha

Instinktiivne reaktsioon päringu ebaõnnestumisel on see kohe uuesti saata. See on täpselt vale samm. Sa olid juba oma kvoodist üle; kohest uuestisaatmist tehes kulutad täiendava kõne, mis samuti ebaõnnestub, ja pikendad blokeerimisperioodi selle lühendamise asemel. Lõpmatu uuestiproovimine teeb asja hullemaks, sidudes lõimed asjatult kinni. Vastupidiselt sellele, kui käsitleda 429 püsiva veana ja loobuda, jätad kasutaja ilma tulemusest, mis oleks saabunud mõni sekund hiljem. Õige lähenemine asub nende kahe vahel: proovi uuesti, kuid oota ja iga kord aina kauem.

Eksponentsiaalne tagasivõtmine

Põhimõte seisneb viite kahekordistamises pärast iga ebaõnnestunud katset, lisades juhusliku variatsiooni ehk jitteri.

import time
import random

def call_with_retry(request, max_retries=5):
    for attempt in range(max_retries):
        response = send_request(request)

        if response.status_code != 429:
            return response

        base_delay = 2 ** attempt  # 1, 2, 4, 8, 16 seconds
        jitter = random.uniform(0, base_delay * 0.5)
        delay = base_delay + jitter

        time.sleep(delay)

    raise Exception("Retry limit reached")

Jitter väärib tähelepanu, sest see on rida, mida kõige sagedamini kustutatakse eeldusel, et see muudab koodi asjatult keeruliseks. Kujuta ette, et kolmkümmend sinu teenuse eksemplari saavad sama sekundi jooksul 429 vea. Ilma jitterita arvutavad nad kõik sama viite ja proovivad uuesti täpselt samal hetkel: oled koormuse tipu identseks kordanud, üks sekund hiljem, siis kaks, siis neli. See on thundering herd (äikesekarja) nähtus. Juhuslikustamine jaotab katsed ajas laiali ja murab selle tahtmatu sünkroniseerituse. Pane tähele ka, et baasviide algab ühest sekundist: ära mine esimese katse puhul kunagi sellest madalamale.

Skaleerumine: reguleeri enne ebaõnnestumist

Suure mahuga rakenduse puhul ei piisa enam 429 vigadele reageerimisest; parem on neid vältida. Kliendipoolne määra piiraja (rate limiter) piirab samaaegsete kõnede arvu ja kehtestab saatmiste vahel minimaalse vahe, nii et väljuv koormus jääb lae alla, selle asemel et seda pidevalt testida.

import asyncio
from asyncio import Semaphore

# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)

async def limited_request(payload):
    async with semaphore:
        response = await send_request_async(payload)
        await asyncio.sleep(1.0 / 25)  # minimum spacing
        return response

Pane tähele tahtlikku varu: 25 päringut sekundis lubatud 30 asemel. See reserv neelab võrgu ebakorrapärasused ja liikluse tõusud, jõudmata kunagi laeni.

Vooluahela katkestaja (circuit breaker) täiendab seadistust, katkestades kõned, kui ebaõnnestumised kuhjuvad. Kui see on suletud, läbivad päringud tavapäraselt. Pärast teatud arv järjestikuseid ebaõnnestumisi see avaneb ja keeldub kohalikult teatud aja jooksul kõigist päringutest: sa lõpetad API pommitamise, mis sind tagasi lükkab, ja sinu lõimed jäävad rakenduse ülejäänud osadele kättesaadavaks. Kui viide lõpeb, liigub see pool-avatud olekusse ja lubab läbi ühe testpäringu; kui see õnnestub, taastub normaalne liiklus, vastasel juhul lähtestatakse loendur. See mehhanism kaitseb nii sinu teenust kui ka teisel pool olevat API-t.

Käsitle 429 kui meetrikat

Viimane refleks, mis integratsioonidest sageli puudub: instrumendi 429 määr. See näitaja ei mõõda sinu uuestiproovimise koodi kvaliteeti; see mõõtab sobivust sinu taseme ja tegeliku liikluse vahel. Kõver, mis nädalast nädalasse tõuseb, annab märku aladimensioneerimisest juba ammu enne, kui kasutajad kaebavad, ja annab sulle aega rahulikult tegutseda – jaotada koormust, planeerida taseme tõstmist – selle asemel et reede õhtul improviseerida.

Peamised punktid

  • HTTP kood 429 annab märku RPM-i või TPM-i piirangu ületamisest
  • Eksponentsiaalne tagasivõtmine koos jitteriga on xAI soovitatud strateegia
  • Tootmises täienda tagasivõtmist kliendipoolse määra piiraja ja vooluahela katkestajaga
  • Ära proovi kunagi kohe uuesti: oota enne esimest uuestiproovimist vähemalt 1 sekund
  • Jälgi 429 määra oma meetrikates kui aladimensioneerimise indikaatorit