Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

RPM in TPM na model

Lekcija 2 od 14 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Dva merila za omejevanje
  2. RPM omejuje število klicev
  3. TPM omejuje obdelani volumen
  4. Omejitve, specifične za vsak model
  5. Spremljanje porabe brez namenskih glav
  6. Ključne ugotovitve

Posodobitev 2. novembra 2026 — Imagine. Model grok-imagine-image-quality so 2. novembra 2026 umaknili: njegove zahteve zdaj obdeluje Imagine Image 2.0 (grok-imagine-image-2.0, 0,04 $ na sliko) v kakovosti low. Zamenjaj identifikator v svojih primerih in nastavi želeno kakovost; model grok-imagine-image (različica 1.0) ni prizadet. Imagine Image 2.0 sprejme do pet referenčnih slik in kakovost auto, ki je zdaj privzeta.

Dva merila za omejevanje

Omejitve hitrosti v konzoli xAI

API Grok tvoje uporabe ne meri z enim samim števcem, temveč z dvema, ki se sprožita neodvisno: RPM (zahteve na minuto) in TPM (žetoni na minuto). Lahko si blokiran zaradi enega, medtem ko si pri drugem še daleč pod zgornjo mejo. Ključno za nadaljevanje: ta dva števca se sledita za vsak model posebej, zato tvoje omejitve za grok-4.5 ne vplivajo na tiste za grok-4.3.

Ta razlika ni le podrobnost v dokumentaciji. Določa, kako dimenzioniraš svojo infrastrukturo, kako porazdeliš obremenitev in kje točno bo tvoja storitev ob dnevnih konicah začela vračati napake.

RPM omejuje število klicev

RPM šteje klice ne glede na njihovo velikost: zahteva z desetimi žetoni in zahteva s sto tisoč žetoni tehtata popolnoma enako. Uradni listi modelov to izražajo v zahtevah na sekundo: 150 za grok-4.7 in grok-4.5 (9.000 na minuto), 37 za grok-4.3 (2.220 na minuto). To zadostuje za standardno pogovorno aplikacijo.

RPM postane ozko grlo, ko so tvoje zahteve številne in kratke. Cevovod, ki posamično razvršča podporne tikete ali iz vsakega stavka v korpusu dokumentov izvleče tri entitete, bo porabil kvoto klicev dolgo preden se približa kvoti žetonov. V tem primeru rešitev ni zahtevati več RPM, temveč združiti več elementov v en sam klic.

TPM omejuje obdelani volumen

TPM sešteje vhodne in izhodne žetone v drseči minuti, pri čemer uradni listi navajajo 50 milijonov žetonov na minuto za grok-4.7 in grok-4.5 ter 10 milijonov za grok-4.3. Obnašanje je tu točno nasprotno prejšnjemu primeru: malo klicev, a zelo težkih.

Vzemi storitev za analizo dokumentov, ki pošilja mape po 50.000 žetonov. Pri grok-4.3 bi zgornja meja zahtev dovoljevala 2.220 oddaj na minuto, vendar se TPM ustavi pri 200 dokumentih: 200 × 50.000 = 10 milijonov. Tako zasičiš približno eno enajstino svoje teoretične zmogljivosti glede števila klicev in nobena nastavitev vzporednosti ti ne bo omogočila preseči tega zidu.

Omejitve, specifične za vsak model

Zgornje meje se razlikujejo glede na naravo poklicanega modela in to lestvico moraš poznati, preden klientu obljubiš prepustnost.

KategorijaModeliOmejitev (uradni list)
Besedilogrok-4.7, grok-4.5150 zahtev/s, 50M TPM
Besedilogrok-4.337 zahtev/s, 10M TPM
Slikagrok-imagine-image, grok-imagine-image-2.06 zahtev/s
Videogrok-imagine-video, -1.5, -1.5-lite10 zahtev/s

Te vrednosti izhajajo iz uradnih listov modelov z dne 2. novembra 2026; dejanske omejitve tvoje ekipe so prikazane v konzoli xAI.

Ker so števci neodvisni, zasičenje enega modela ne blokira drugih. Če grok-4.5 vrača napake 429, grok-4.3 še naprej sprejema tvoje zahteve, kot da se nič ne bi zgodilo. To je pogosto spregledana vzvod za prepustnost: namesto čakanja na povečanje kvote preusmeri preproste naloge – razvrščanje, ekstrakcijo, kratke povzetke – na manj obremenjen model, grok-4.5 prihrani za res kompleksno sklepanje, tokove, ki usklajujejo več pod-agentov, pa prepusti modelu grok-4.20-multi-agent-0309. Celotna prepustnost tvoje platforme tako postane vsota več kvot namesto le ene.

Spremljanje porabe brez namenskih glav

API Grok v svojih odgovorih ne vrača glav, ki bi kazale, koliko RPM ali TPM ti je še ostalo. Z drugimi besedami, nič te ne bo opozorilo na približevanje zgornji meji: edini način, da ugotoviš, kje si, je, da računovodstvo vodiš sam na strani odjemalca.

To sledenje temelji na treh elementih: števcu zahtev na minuto na model, števcu žetonov, ki ga napaja predmet usage, vsebovan v vsakem odgovoru, in pragu opozorila, ki se sproži pri približno 80 % omejitev. Zadnja točka je najpomembnejša: opozorilo pri 80 % ti pusti čas za prilagoditev – porazdelitev obremenitve, glajenje oddaj, sprožitev nadgradnje ravni –, medtem ko opozorilo pri 100 % le potrdi incident, ki je že v teku.

Ključne ugotovitve

  • Omejitve se merijo v RPM (zahteve/minuto) in TPM (žetoni/minuto)
  • Besedilni modeli standardno ponujajo 1.800 RPM in 10M TPM
  • Vsak model ima svoje neodvisne omejitve
  • Porazdelitev obremenitve med modele omogoča množenje dejanske prepustnosti
  • Vzpostavi sledenje na strani odjemalca za predvidevanje omejitev