Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

RPM a TPM pro jednotlivé modely

Lekce 2 z 14 Aktualizováno 2. listopadu 2026 Pokročilý
Na této stránce
  1. Dvě omezující metriky
  2. RPM omezuje počet volání
  3. TPM omezuje zpracovaný objem
  4. Limity specifické pro každý model
  5. Sledování spotřeby bez vyhrazených hlaviček
  6. Klíčové poznatky

Aktualizace 2. listopadu 2026 — Imagine. Dne 2. listopadu 2026 byl odstraněn model grok-imagine-image-quality: jeho požadavky jsou nyní obsluhovány modelem Imagine Image 2.0 (grok-imagine-image-2.0, 0,04 $ za obrázek) v kvalitě low. Nahraď identifikátor ve svých příkladech a nastav požadovanou kvalitu; model grok-imagine-image (verze 1.0) není dotčen. Imagine Image 2.0 přijímá až pět referenčních obrázků a kvalitu auto, která je nyní výchozí.

Dvě omezující metriky

Omezení rychlosti v konzoli xAI

API Grok neměří tvé využití jediným čítačem, ale dvěma, které se spouštějí nezávisle: RPM (požadavky za minutu) a TPM (tokeny za minutu). Můžeš být zablokován jedním z nich, přestože jsi u druhého stále daleko pod stropem. Pro následující text je klíčové, že se tyto dva čítače sledují pro každý model zvlášť, takže tvá omezení pro grok-4.5 nemají žádný vliv na ta pro grok-4.3.

Tento rozdíl není jen detailem dokumentace. Určuje, jak navrhneš svou infrastrukturu, jak rozložíš zátěž a přesně kde začne tvoje služba vracet chyby při nárazovém zvýšení provozu.

RPM omezuje počet volání

RPM počítá volání bez ohledu na jejich velikost: požadavek o deseti tokenech a požadavek o sto tisících tokenech váží úplně stejně. Oficiální listy modelů vyjadřují tuto hodnotu v požadavcích za sekundu: 150 pro grok-4.7 a grok-4.5 (9 000 za minutu), 37 pro grok-4.3 (2 220 za minutu). To pro standardní konverzační aplikaci postačuje.

RPM se stane úzkým hrdlem okamžitě, jakmile jsou tvé požadavky četné a krátké. Pipeline, která klasifikuje supportní ticket po ticketu nebo extrahuje tři entity z každé věty v korpusu dokumentů, vyčerpá svou kvótu volání dlouho předtím, než se přiblíží své kvótě tokenů. V tomto případě řešením není žádat o vyšší RPM, ale dávkovat několik položek do jednoho volání.

TPM omezuje zpracovaný objem

TPM sčítá vstupní a výstupní tokeny v pohyblivém jednominutovém okně. Podle oficiálních listů činí limit 50 milionů tokenů za minutu pro grok-4.7 a grok-4.5 a 10 milionů pro grok-4.3. Chování je zde přesně opačné než v předchozím případě: málo volání, ale velmi náročných.

Vezmi si službu pro analýzu dokumentů, která odesílá složky o 50 000 tokenech každá. U modelu grok-4.3 by strop počtu požadavků umožňoval 2 220 odeslání za minutu, ale TPM zastaví provoz již u 200 dokumentů: 200 × 50 000 = 10 milionů. Nasycení tedy nastane přibližně v jedenáctině tvé teoretické kapacity z hlediska počtu volání a žádné nastavení paralelismu ti nedovolí tuto zeď překročit.

Limity specifické pro každý model

Stropy se liší v závislosti na povole volaného modelu a tuto škálu musíš znát dříve, než klientovi slíbíš určitou propustnost.

KategorieModelyLimit (oficiální list)
Textgrok-4.7, grok-4.5150 požadavků/s, 50M TPM
Textgrok-4.337 požadavků/s, 10M TPM
Obrázekgrok-imagine-image, grok-imagine-image-2.06 požadavků/s
Videogrok-imagine-video, -1.5, -1.5-lite10 požadavků/s

Tyto hodnoty pocházejí z oficiálních listů modelů k 2. listopadu 2026; efektivní limity tvého týmu se zobrazují v konzoli xAI.

Protože jsou čítače nezávislé, nasycení jednoho modelu nezablokuje ostatní. Pokud grok-4.5 vrací chyby 429, grok-4.3 nadále přijímá tvé požadavky, jako by se nic nestalo. To je často přehlížená páka pro zvýšení propustnosti: místo čekání na navýšení kvóty směruj jednoduché úkoly – klasifikaci, extrakci, krátké shrnutí – na méně zatížený model, grok-4.5 si nech pro skutečně složité úsudky a orchestraci toku mezi několika pod-agenty přenech modelu grok-4.20-multi-agent-0309. Celková propustnost tvé platformy se pak stane součtem několika kvót místo jen jedné.

Sledování spotřeby bez vyhrazených hlaviček

API Grok nevrací v odpovědích žádné hlavičky, které by ukazovaly, kolik RPM nebo TPM ti ještě zbývá. Jinými slovy, nic tě neupozorní na blížící se strop: jediný způsob, jak zjistit, kde stojíš, je vést si vlastní účetnictví na straně klienta.

Toto sledování stojí na třech prvcích: čítači požadavků za minutu pro každý model, čítači tokenů napájeném objektem usage, který obsahuje každá odpověď, a prahu alertu, který se spustí kolem 80 % limitů. Tento poslední bod je nejdůležitější: alert na 80 % ti nechá čas na úpravu – rozložení zátěže, vyhlazení odesílání, spuštění upgrade tarifu –, zatímco alert na 100 % pouze potvrdí již probíhající incident.

Klíčové poznatky

  • Limity se měří v RPM (požadavky/minutu) a TPM (tokeny/minutu)
  • Textové modely nabízejí jako standard 1 800 RPM a 10M TPM
  • Každý model má své vlastní nezávislé limity
  • Rozložení zátěže mezi modely umožňuje násobit efektivní propustnost
  • Implementuj sledování na straně klienta, abys limity předvídal