Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

RPM a TPM pre každý model

Lekcia 2 z 14 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Dva limitujúce ukazovatele
  2. RPM obmedzuje počet volaní
  3. TPM obmedzuje spracovaný objem
  4. Limity špecifické pre každý model
  5. Monitorovanie spotreby bez vyhradených hlavičiek
  6. Kľúčové poznatky

Aktualizácia 2. novembra 2026 — Imagine. Dňa 2. novembra 2026 bol odstránený model grok-imagine-image-quality: jeho požiadavky teraz vybavuje model Imagine Image 2.0 (grok-imagine-image-2.0, 0,04 $ za obrázok) v kvalite low. Nahraď identifikátor vo svojich príkladoch a nastav požadovanú kvalitu; model grok-imagine-image (verzia 1.0) nie je dotknutý. Imagine Image 2.0 akceptuje až päť referenčných obrázkov a kvalitu auto, ktorá je teraz predvolená.

Dva limitujúce ukazovatele

Limity rýchlosti v konzole xAI

API Grok nemeria tvoje využitie jedným počítadlom, ale dvoma, ktoré sa spúšťajú nezávisle: RPM (požiadavky za minútu) a TPM (tokeny za minútu). Môžeš byť zablokovaný jedným z nich, aj keď si stále ďaleko pod limitom toho druhého. Pre nasledujúci obsah je kľúčové, že tieto dva počítadlá sa sledujú pre každý model samostatne, takže tvoje limity pre grok-4.5 nemajú žiadny vplyv na limity pre grok-4.3.

Tento rozdiel nie je len detailom dokumentácie. Určuje, ako navrhneš svoju infraštruktúru, ako rozložíš záťaž a presne kde začne tvoja služba vracať chyby počas dňa s vysokou špičkou dopytu.

RPM obmedzuje počet volaní

RPM počíta volania bez ohľadu na ich veľkosť: požiadavka s desiatimi tokenmi a požiadavka so stotisíc tokenmi vážia úplne rovnako. Oficiálne listy modelov vyjadrujú toto v požiadavkách za sekundu: 150 pre grok-4.7 a grok-4.5 (9 000 za minútu), 37 pre grok-4.3 (2 220 za minútu). To stačí pre štandardnú konverzačnú aplikáciu.

RPM sa stane úzkym hrdlom hneď, ako sú tvoje požiadavky početné a krátke. Pipeline, ktorá klasifikuje podporové ticket-y jeden po druhom, alebo extrahuje tri entity z kažtej vety v korpuse dokumentov, vyčerpá svoju kvótu volaní dávno predtým, než sa priblíži ku kvóte tokenov. V tomto prípade riešením nie je žiadať o vyššie RPM, ale zlúčiť niekoľko položiek do jedného volania.

TPM obmedzuje spracovaný objem

TPM sčítava vstupné a výstupné tokeny v posuvnej minúte. Podľa oficiálnych listov je to 50 miliónov tokenov za minútu pre grok-4.7 a grok-4.5 a 10 miliónov pre grok-4.3. Správanie je tu presne opačné ako v predchádzajúcom prípade: málo volaní, ale veľmi ťažkých.

Zober si službu na analýzu dokumentov, ktorá odosiela priečinky s 50 000 tokenmi každá. Pri modeli grok-4.3 by strop požiadaviek povoľoval 2 220 odoslaní za minútu, ale TPM sa zastaví na 200 dokumentoch: 200 × 50 000 = 10 miliónov. Nasýtiš sa teda približne na jednej jedenástine svojej teoretickej kapacity v počte volaní a žiadne nastavenie paralelizmu ti nedovolí tento múr prekročiť.

Limity špecifické pre každý model

Stropy nie sú rovnaké v závislosti od povahy volaného modelu a túto škálu musíš poznať skôr, než klientovi sľúbiš priepustnosť.

KategóriaModelyLimit (oficiálny list)
Textgrok-4.7, grok-4.5150 požiadaviek/s, 50M TPM
Textgrok-4.337 požiadaviek/s, 10M TPM
Obrázokgrok-imagine-image, grok-imagine-image-2.06 požiadaviek/s
Videogrok-imagine-video, -1.5, -1.5-lite10 požiadaviek/s

Tieto hodnoty pochádzajú z oficiálnych listov modelov k 2. novembru 2026; efektívne limity tvojho tímu sa zobrazujú v konzole xAI.

Keďže počítadlá sú nezávislé, nasýtenie jedného modelu nezablokuje ostatné. Ak grok-4.5 vracia chyby 429, grok-4.3 pokračuje v prijímaní tvojich požiadaviek, akoby sa nič nestalo. Toto je často prehliadaná páka priepustnosti: namiesto čakania na zvýšenie kvóty presmeruj jednoduché úlohy – klasifikáciu, extrakciu, krátke zhrnutie – na menej využívaný model, grok-4.5 si nechaj pre skutočne komplexné usudzovanie a orchestráciu toku viacerých sub-agentov prepust modelu grok-4.20-multi-agent-0309. Celková priepustnosť tvojej platformy sa potom stane súčtom niekoľkých kvót namiesto len jednej.

Monitorovanie spotreby bez vyhradených hlavičiek

API Grok nevracia v odpovediach žiadne hlavičky, ktoré by indikovali, koľko RPM alebo TPM ti ešte zostáva. Inými slovami, nič ťa neupozorní na blížiaci sa strop: jediný spôsob, ako zistiť, kde sa nachádzaš, je viesť si účtovníctvo sám na strane klienta.

Toto sledovanie sa opiera o tri prvky: počítadlo požiadaviek za minútu pre každý model, počítadlo tokenov napájané objektom usage, ktorý obsahuje každá odpoveď, a prahový limit alertu spustený okolo 80 % limitov. Tento posledný bod je najdôležitejší: alert na 80 % ti nechá čas na úpravu – rozloženie záťaže, vyhladenie odosielania, spustenie upgrade tieru –, zatiaľ čo alert na 100 % len potvrdí prebiehajúci incident.

Kľúčové poznatky

  • Limity sa merajú v RPM (požiadavky/minútu) a TPM (tokeny/minútu)
  • Textové modely ponúkajú štandardne 1 800 RPM a 10M TPM
  • Každý model má svoje vlastné nezávislé limity
  • Rozloženie záťaže medzi modely umožňuje násobenie efektívnej priepustnosti
  • Implementuj sledovanie na strane klienta, aby si predvídal limity