Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

HTTP 429 ir eksponentinis atsitraukimas

Paskaita 3 iš 14 Atnaujinta 2026 m. liepos 29 d. Pažengusiems
Šiame puslapyje
  1. Kaip valdyti limitų viršijimus
  2. Ko nedaryti
  3. Eksponentinis atsitraukimas
  4. Mastelio keitimas: reguliuok prieš nepavykstant
  5. Traktuok 429 kaip metriką
  6. Svarbiausi punktai

Kaip valdyti limitų viršijimus

Kai tik tavo programa pasiekia RPM arba TPM limitus, Grok API atsako HTTP 429 statuso kodu („Too Many Requests“). Skaityk šį kodą tiesiai: tai ne triktis, o srauto valdymo signalas. API sako „lėtink“, o ne „sugedo“. Skirtumas tarp patikimos ir trapios integracijos priklauso nuo to, kaip tavo kodas interpretuoja šį skirtumą. Netinkamai apdorotas 429 niekada nelieka izoliuotas: jis kaskaduoja per eilę, tada į kviečiančias tarnybas ir galiausiai virsta incidentu, matomu galutiniam naudotojui.

Ko nedaryti

Instinktyvi reakcija, kai užklausa nepavyksta, – siųsti ją iškart iš naujo. Tai būtent tas klaidingas žingsnis. Jau viršijai savo kvotą; siųsdamas iškart iš naujo, eikvoji papildomą kvietimą, kuris taip pat nepavyks, ir pratęsi blokavimo laikotarpį užuot jį sutrumpinęs. Begalinis kartojimas tik pablogina situaciją, be reikalo užimdamas gijas. Kita vertus, traktuojant 429 kaip neatitaisomą klaidą ir pasiduodant, atimi iš naudotojo rezultatą, kuris būtų atėjęs po kelių sekundžių. Teisingas būdas yra tarp šių kraštutinumų: kartok, bet lauk ir kiekvieną kartą lauk ilgiau.

Eksponentinis atsitraukimas

Principas toks: po kiekvieno nesėkmingo bandymo dvigubinkite delsą, pridėdami atsitiktinį svyravimą, vadinamą „jitter“.

import time
import random

def call_with_retry(request, max_retries=5):
    for attempt in range(max_retries):
        response = send_request(request)

        if response.status_code != 429:
            return response

        base_delay = 2 ** attempt  # 1, 2, 4, 8, 16 seconds
        jitter = random.uniform(0, base_delay * 0.5)
        delay = base_delay + jitter

        time.sleep(delay)

    raise Exception("Retry limit reached")

„Jitter“ nusipelno dėmesio, nes tai dažniausiai ištrinama eilutė darant prielaidą, kad ji be reikalo sudėtingina kodą. Įsivaizduok trisdešimt tavo tarnybos egzempliorių, vienu metu gaunančių 429. Be „jitter“, visi jie apskaičiuoja tą pačią delsą ir bando iš naujo tiksliai tuo pačiu momentu: tu identišku būdu atkuri apkrovos šuolį po sekundės, tada po dviejų, tada po keturių. Tai vadinama thundering herd (triukšmingos bandos) reiškiniu. Atsitiktinumas paskirsto bandymus laike ir nutraukia šį nevalingą sinchronizavimą. Taip pat atkreipk dėmesį, kad bazinė delsa prasideda nuo vienos sekundės: pirmajam bandymui niekada nenaudok mažesnės.

Mastelio keitimas: reguliuok prieš nepavykstant

Didelio našumo programoje reakcija į 429 klaidas jau nebepakanka; geriau jų išvengti. Kliento pusės apkrovos ribotuvas („rate limiter“) apriboja vienu metu vykdomų kvietimų skaičių ir užtikrina minimalų intervalą tarp siuntimų, todėl išeinanti apkrova lieka žemiau lubų, užuot jas nuolat testavusi.

import asyncio
from asyncio import Semaphore

# Limit to 25 requests/second (margin under the allowed 30 req/s)
semaphore = Semaphore(25)

async def limited_request(payload):
    async with semaphore:
        response = await send_request_async(payload)
        await asyncio.sleep(1.0 / 25)  # minimum spacing
        return response

Atkreipk dėmesį į tyčinę rezervą: 25 užklausos per sekundę vietoj leidžiamų 30. Ši atsarga sugeria tinklo nelygumus ir srauto šuolius niekada nepasiekiant lubų.

Grandinės pertraukiklis („circuit breaker“) užbaigia sąranką, nutraukdamas kvietimus, kai klaidos kaupiasi. Kol jis uždarytas, užklausos eina įprastai. Po nustatyto skaičiaus iš eilės einančių nesėkmių jis atsiveria ir lokaliai atmeta visas užklausas nustatytą laikotarpį: nustojate bombarduoti API, kuris jus atmeta, o jūsų gijos lieka prieinamos likusiai programos daliai. Kai delsa baigiasi, jis pereina į pusiau atvirą būseną ir praleidžia vieną bandomąją užklausą; jei ji pavyksta, normalus srautas atsinaujina, jei ne – skaitiklis nustatomas iš naujo. Šis mechanizmas saugo tiek tavo tarnybą, tiek API kitoje pusėje.

Traktuok 429 kaip metriką

Dar vienas refleksas, kurio dažnai trūksta integracijose: stebėkite 429 dažnį. Šis skaičius matuoja ne jūsų kartojimo kodo kokybę, o atitikimą tarp jūsų tarifo ir faktinio srauto. Kreivė, kylanti savaitę po savaitės, signalizuoja apie nepakankamą pajėgumą gerokai anksčiau, nei pradeda skųstis naudotojai, ir suteikia laiko veikti ramiai – paskirstyti apkrovą, suplanuoti tarifo atnaujinimą – užuot improvizavus penktadienio vakarą.

Svarbiausi punktai

  • HTTP 429 kodas signalizuoja RPM arba TPM limito viršijimą
  • Eksponentinis atsitraukimas su „jitter“ yra xAI rekomenduojama strategija
  • Gamyboje papildykite atsitraukimą kliento pusės apkrovos ribotuvu ir grandinės pertraukikliu
  • Niekada nekartokite iškart: prieš pirmąjį kartojimą palaukite bent 1 sekundę
  • Stebėkite 429 dažnį savo metrikose kaip nepakankamo pajėgumo indikatorių