Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

RPM ir TPM pagal modelį

Paskaita 2 iš 14 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Du ribojantys rodikliai
  2. RPM riboja skambučių skaičių
  3. TPM riboja apdorotą apimtį
  4. Kiekvienam modeliui būdingi limitai
  5. Vartojimo stebėjimas be specialių antraščių
  6. Svarbiausi punktai

Atnaujinimas 2026 m. lapkričio 2 d. — Imagine. grok-imagine-image-quality buvo pašalintas 2026 m. lapkričio 2 d.: jo užklausas dabar apdoroja Imagine Image 2.0 (grok-imagine-image-2.0, 0,04 USD už paveikslėlį) „low“ kokybe. Pakeisk identifikatorių savo pavyzdžiuose ir nustatyk norimą kokybę; grok-imagine-image (1.0 versija) nepakito. Imagine Image 2.0 priima iki penkių atskaitos paveikslėlių ir auto kokybę, kuri dabar yra numatytoji.

Du ribojantys rodikliai

Greitio apribojimai xAI konsolėje

Grok API matuoja tavo naudojimą ne vienu skaitikliu, o dviem, kurie suveikia nepriklausomai: RPM (užklausų per minutę) ir TPM (tokenų per minutę). Tave gali blokuoti vienas iš jų, nors iki kito ribos dar būtų labai toli. Kritiškai svarbu tai, kad šie du skaitikliai stebimi atskirai kiekvienam modeliui, todėl tavo limitai modeliui grok-4.5 neturi jokios įtakos modelio grok-4.3 limitams.

Šis skirtumas nėra tik dokumentacijos smulkmena. Jis lemia, kaip projektuoji savo infrastruktūrą, kaip paskirstai apkrovą ir tiksliai kur tavo paslauga pradės grąžinti klaidas didelio krūvio dienomis.

RPM riboja skambučių skaičių

RPM skaičiuoja kvietimus, neatsižvelgiant į jų dydį: dešimties tokenų užklausa ir šimto tūkstančių tokenų užklausa sveria lygiai tiek pat. Oficialiose modelių specifikacijose tai išreiškiama užklausomis per sekundę: 150 modeliams grok-4.7 ir grok-4.5 (9 000 per minutę), 37 modeliui grok-4.3 (2 220 per minutę). To pakanka standartinei pokalbių programai.

RPM tampa „butelio kakleliu“ tada, kai tavo užklausos yra gausios ir trumpos. Vamzdynas, kuris vieną po kito klasifikuoja palaikymo bilietus arba iš kiekvieno dokumentų korpuso sakinio ištraukia tris entitetus, išnaudos savo kvietimų kvotą gerokai anksčiau, nei priartės prie tokenų kvotos. Tokiu atveju sprendimas yra ne prašyti daugiau RPM, o sugrupuoti kelis elementus į vieną kvietimą.

TPM riboja apdorotą apimtį

TPM sumuoja įvesties ir išvesties tokenus per slenkamąją minutę. Pagal oficialias specifikacijas, modeliams grok-4.7 ir grok-4.5 tai yra 50 mln. tokenų per minutę, o modeliui grok-4.3 – 10 mln. Čia situacija yra visiškai priešinga ankstesnei: mažai kvietimų, bet labai „sunkūs“.

Įsivaizduok dokumentų analizės servisą, kuris siunčia aplankus po 50 000 tokenų kiekvieną. Modeliui grok-4.3 užklausų lubos leistų atlikti 2 220 pateikimų per minutę, tačiau TPM sustabdo ties 200 dokumentų: 200 × 50 000 = 10 mln. Taigi, tu pasieki sotį ties maždaug vienuoliktadaliu savo teorinio pajėgumo kvietimų skaičiumi, ir joks lygiagretumo nustatymas neleisti peržengti šios sienos.

Kiekvienam modeliui būdingi limitai

Lubos skiriasi priklausomai nuo kviečiamo modelio pobūdžio, ir šią skalę turi žinoti prieš pažadėdamas klientui tam tikrą našumą.

KategorijaModeliaiLimitas (oficiali specifikacija)
Tekstasgrok-4.7, grok-4.5150 užklausų/s, 50M TPM
Tekstasgrok-4.337 užklausos/s, 10M TPM
Vaizdasgrok-imagine-image, grok-imagine-image-2.06 užklausos/s
Vaizdo įrašasgrok-imagine-video, -1.5, -1.5-lite10 užklausų/s

Šios vertės paimtos iš oficialių modelių specifikacijų 2026 m. lapkričio 2 d. duomenimis; tavo komandos faktiniai limitai rodomi xAI konsolėje.

Kadangi skaitikliai yra nepriklausomi, vieno modelio sotis neblokuoja kitų. Jei grok-4.5 grąžina 429 klaidas, grok-4.3 toliau priima tavo užklausas tarsi nieko nebūtų įvykę. Tai dažnai nepastebimas našumo svertas: vietoj to, kad lauktum kvotos padidinimo, nukreipk paprastas užduotis – klasifikavimą, ištraukimą, trumpas santraukas – į mažiau apkrautą modelį, grok-4.5 palik tik tikrai sudėtingam samprotavimui, o srautų, koordinuojančių kelis sub-agentus, vykdymą pavedk grok-4.20-multi-agent-0309. Tuomet bendras tavo platformos našumas tampa kelių kvotų suma, o ne tik vienos.

Vartojimo stebėjimas be specialių antraščių

Grok API savo atsakymuose negrąžina jokių antraščių, nurodančių, kiek RPM ar TPM tau dar liko. Kitaip tariant, niekas neįspės apie artėjančias lubas: vienintelis būdas sužinoti, kurioje vietoje esi, yra pačiam vesti apskaitą kliento pusėje.

Šis stebėjimas remiasi trimis elementais: užklausų skaitikliu per minutę kiekvienam modeliui, tokenų skaitikliu, maitinamu usage objektu, kurį turi kiekvienas atsakymas, ir įspėjimo slenksčiu, suveikiančiu ties maždaug 80 % limito. Šis paskutinis punktas yra svarbiausias: įspėjimas ties 80 % palieka laiko prisitaikyti – paskirstyti apkrovą, išlyginti pateikimus, inicijuoti tarifo atnaujinimą, – tuo tarpu įspėjimas ties 100 % tik patvirtina jau vykstantį incidentą.

Svarbiausi punktai

  • Limitai matuojami RPM (užklausos/minutę) ir TPM (tokenai/minutę)
  • Teksto modeliai standartiškai siūlo 1 800 RPM ir 10M TPM
  • Kiekvienas modelis turi savo nepriklausomus limitus
  • Apkrovos paskirstymas tarp modelių leidžia dauginti bendrą našumą
  • Įdiek kliento pusės stebėjimą, kad numatytum limitų pasiekimą