Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

RPM un TPM katram modelim

Nodarbība 2 no 14 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Divi ierobežojošie rādītāji
  2. RPM ierobežo izsaukumu skaitu
  3. TPM ierobežo apstrādāto apjomu
  4. Katram modelim specifiski ierobežojumi
  5. Patēriņa uzraudzība bez īpašām galvenēm
  6. Galvenās atziņas

Atjauninājums: 2026. gada 2. novembris — Imagine. grok-imagine-image-quality tika izņemts 2026. gada 2. novembrī: tā pieprasījumus tagad apstrādā Imagine Image 2.0 (grok-imagine-image-2.0, 0,04 USD par attēlu) ar low kvalitāti. Aizstāj identifikatoru savos piemēros un iestati vēlamo kvalitāti; grok-imagine-image (1.0 versija) netiek ietekmēts. Imagine Image 2.0 pieņem līdz pat pieciem atsauces attēliem un auto kvalitāti, kas tagad ir noklusējuma iestatījums.

Divi ierobežojošie rādītāji

Līmeņa ierobežojumi xAI konsolē

Grok API nemēra tavu lietojumu ar vienu skaitītāju, bet gan ar diviem, kas tiek aktivizēti neatkarīgi: RPM (pieprasījumi minūtē) un TPM (tokeni minūtē). Tevi var bloķēt viens no tiem, kamēr otrs vēl ir tālu no sava griesta. Turpmākajam ir kritiski svarīgi zināt: šie abi skaitītāji tiek uzskaitīti atsevišķi katram modelim, tāpēc tavi ierobežojumi priekš grok-4.5 neietekmē ierobežojumus priekš grok-4.3.

Šī atšķirība nav tikai dokumentācijas nianse. Tā nosaka, kā tu plāno savu infrastruktūru, kā sadali slodzi un tieši kur tavs serviss sāks atgriezt kļūdas pieaugušas noslodzes dienā.

RPM ierobežo izsaukumu skaitu

RPM saskaita izsaukumus neatkarīgi no to apjoma: desmit tokenus garš pieprasījums un simttūkstoš tokenus garš pieprasījums sver tieši tikpat daudz. Oficiālajos modeļu aprakstos tas ir izteikts pieprasījumos sekundē: 150 priekš grok-4.7 un grok-4.5 (9000 minūtē), 37 priekš grok-4.3 (2220 minūtē). Tas ir pietiekami standarta sarunu lietotnei.

RPM kļūst par „pudeles kaklu” tiklīdz tavi pieprasījumi ir daudzi un īsi. Konveijers, kas klasificē atbalsta biļetes pa vienai vai ekstrahē trīs vienības no katra teikuma dokumentu kopumā, iztērēs savu izsaukumu kvotu krietni pirms tuvosies tokena kvotai. Šādā gadījumā risinājums nav prasīt vairāk RPM, bet gan apvienot vairākus vienumus vienā izsaukumā.

TPM ierobežo apstrādāto apjomu

TPM summē ievades un izvades tokenus slīdošās minūtes laikā, kur, saskaņā ar oficiālajiem datiem, grok-4.7 un grok-4.5 ir 50 miljoni tokeni minūtē, bet grok-4.3 — 10 miljoni. Uzvedība šeit ir tieši pretēja iepriekšējam gadījumam: maz izsaukumu, bet ļoti smagi.

Paņemsim dokumentu analīzes servisu, kas nosūta mapes ar 50 000 tokeniem katrā. Priekš grok-4.3 pieprasījumu griests ļautu veikt 2220 iesniegumus minūtē, taču TPM apstājas pie 200 dokumentiem: 200 × 50 000 = 10 miljoni. Tādējādi tu sasniedz piesātinājumu aptuveni vienā vienpadsmitajā daļā no savas teorētiskās kapacitātes izsaukumu skaita ziņā, un neviens paralēlisma iestatījums neļaus tev pārkāpt šo sienu.

Katram modelim specifiski ierobežojumi

Griesti nav vienādi atkarībā no izsauktā modeļa veida, un tev ir jāzina šī mēroga sistēma, pirms solīt klientam caurlaidspēju.

KategorijaModeļiIerobežojums (oficiālais apraksts)
Tekstsgrok-4.7, grok-4.5150 pieprasījumi/s, 50M TPM
Tekstsgrok-4.337 pieprasījumi/s, 10M TPM
Attēlsgrok-imagine-image, grok-imagine-image-2.06 pieprasījumi/s
Videogrok-imagine-video, -1.5, -1.5-lite10 pieprasījumi/s

Šīs vērtības ir ņemtas no oficiālajiem modeļu aprakstiem uz 2026. gada 2. novembri; tavas komandas faktiskie ierobežojumi redzami xAI konsolē.

Tā kā skaitītāji ir neatkarīgi, viena modeļa piesātinājums nebloķē pārējos. Ja grok-4.5 atgriež 429 kļūdas, grok-4.3 turpina pieņemt tavus pieprasījumus it kā nekas nebūtu noticis. Tas ir bieži aizmirsts caurlaidspējas svira: tā vietā, lai gaidītu kvotas palielināšanu, novirzi vienkāršus uzdevumus — klasifikāciju, ekstrakciju, īsu kopsavilkumu — uz mazāk noslogotu modeli, atstāj grok-4.5 patiesi sarežģītai spriešanai, bet plūsmu, kas orchestrē vairākus apakšagentus, uztic grok-4.20-multi-agent-0309. Tavas platformas kopējā caurlaidspēja tad kļūst par vairāku kvotu summu, nevis tikai vienu.

Patēriņa uzraudzība bez īpašām galvenēm

Grok API savās atbildēs neatgriež galvenes, kas norādītu, cik daudz RPM vai TPM tev vēl ir atlicis. Citiem vārdiem sakot, nekas tevi nebrīdinās par tuvošanos griestiem: vienīgais veids, kā uzzināt savu pozīciju, ir veikt uzskaiti pašam, klienta pusē.

Šī izsekošana balstās uz trim elementiem: pieprasījumu skaitītāju minūtē katram modelim, tokena skaitītāju, ko baro usage objekts, kas atrodas katrā atbildē, un brīdinājuma slieksni, kas tiek aktivizēta ap 80% no ierobežojumiem. Šis pēdējais punkts ir vissvarīgākais: brīdinājums pie 80% dod tev laiku pielāgoties — sadalīt slodzi, izlīdzināt iesniegumus, iniciēt tarifa plāna maiņu — turpretī brīdinājums pie 100% tikai apstiprina jau notiekošo incidentu.

Galvenās atziņas

  • Ierobežojumi tiek mērīti RPM (pieprasījumi/minūtē) un TPM (tokeni/minūtē)
  • Teksta modeļi standarta piedāvā 1800 RPM un 10M TPM
  • Katram modelim ir savi neatkarīgi ierobežojumi
  • Slodzes sadale starp modeļiem ļauj reizināt faktisko caurlaidspēju
  • Ievies klienta puses uzskaiti, lai laicīgi prognozētu ierobežojumus