Spring til hovedindhold
Dansk— Vælg et sprog
Menu

RPM og TPM pr. model

Lektion 2 af 14 Opdateret 2. november 2026 Avanceret
På denne side
  1. De to begrænsende måleenheder
  2. RPM sætter loftet for antallet af kald
  3. TPM sætter loftet for det behandlede volumen
  4. Grænser specifikke for hver model
  5. Overvågning af forbrug uden dedikerede headere
  6. Vigtige pointer

Opdatering 2. november 2026 — Imagine. grok-imagine-image-quality blev fjernet den 2. november 2026: dets anmodninger betjenes nu af Imagine Image 2.0 (grok-imagine-image-2.0, $0.04 pr. billede) i kvaliteten low. Udskift identifikatoren i dine eksempler, og angiv den ønskede kvalitet; grok-imagine-image (version 1.0) påvirkes ikke. Imagine Image 2.0 accepterer op til fem referencebilleder og kvaliteten auto, som nu er standardindstillingen.

De to begrænsende måleenheder

Rate limits i xAI-konsollen

Grok-API’en måler ikke dit forbrug med én enkelt tæller, men med to, der udløses uafhængigt af hinanden: RPM (anmodninger per minut) og TPM (tokens per minut). Du kan blive blokeret af den ene, selvom du ligger langt under loftet for den anden. Det er afgørende for det følgende, at disse to tællere føres separat for hver model, så dine grænser for grok-4.5 ikke påvirker dem for grok-4.3.

Denne sondring er ikke blot en detalje i dokumentationen. Den afgør, hvordan du dimensionerer din infrastruktur, hvordan du fordeler belastningen, og præcis hvor din tjeneste begynder at returnere fejl under spidsbelastning.

RPM sætter loftet for antallet af kald

RPM tæller kald uanset deres størrelse: en anmodning på ti tokens og en på hundrede tusind tokens vejer præcis det samme. De officielle modelark angiver dette som anmodninger per sekund: 150 for grok-4.7 og grok-4.5 (9.000 per minut), 37 for grok-4.3 (2.220 per minut). Dette er tilstrækkeligt til en standard konversationsapplikation.

RPM bliver til en flaskehals, så snart dine anmodninger er mange og korte. En pipeline, der klassificerer supportbilletter én efter én, eller udtrækker tre enheder per sætning på tværs af et dokumentkorpus, vil opbruge sin kvote for kald længe før, den nærmer sig sin tokenkvote. I dette tilfælde er løsningen ikke at anmode om mere RPM, men at samle flere elementer i ét enkelt kald.

TPM sætter loftet for det behandlede volumen

TPM summerer input- og output-tokens over et glidende minut. Ifølge de officielle ark er grænsen 50 millioner tokens per minut for grok-4.7 og grok-4.5 og 10 millioner for grok-4.3. Adfærden her er præcis den modsatte af det foregående tilfælde: få kald, men meget tunge.

Tag en tjeneste til dokumentanalyse, der sender mapper på 50.000 tokens hver. På grok-4.3 ville loftet for anmodninger tillade 2.220 indsendelser per minut, men TPM stopper ved 200 dokumenter: 200 × 50.000 = 10 millioner. Du mætter derfor ved cirka en ellevtedel af din teoretiske kapacitet målt i antal kald, og ingen indstilling for parallelisering vil lade dig bryde denne mur.

Grænser specifikke for hver model

Lofterne varierer afhængigt af typen af model, du kalder, og du skal kende denne skala, før du lover en bestemt gennemstrømning til en kunde.

KategoriModellerGrænse (officielt ark)
Tekstgrok-4.7, grok-4.5150 anmodninger/s, 50M TPM
Tekstgrok-4.337 anmodninger/s, 10M TPM
Billedegrok-imagine-image, grok-imagine-image-2.06 anmodninger/s
Videogrok-imagine-video, -1.5, -1.5-lite10 anmodninger/s

Disse værdier stammer fra de officielle modelark pr. 2. november 2026; dit teams effektive grænser vises i xAI-konsollen.

Da tællerne er uafhængige, blokerer mætning af én model ikke de andre. Hvis grok-4.5 returnerer 429-fejl, fortsætter grok-4.3 med at acceptere dine anmodninger, som om intet var hændt. Dette er en ofte overset løftestang for gennemstrømning: I stedet for at vente på en kvoteforøgelse kan du routinge enkle opgaver – klassificering, udtrækning, kort resumé – til en mindre belastet model, reservere grok-4.5 til virkelig kompleks ræsonnement og overlade flux, der orchestrerer flere underagenter, til grok-4.20-multi-agent-0309. Din platforms samlede gennemstrømning bliver derefter summen af flere kvoter i stedet for blot én.

Overvågning af forbrug uden dedikerede headere

Grok-API’en returnerer ingen headere i sine svar, der angiver, hvor meget RPM eller TPM du har tilbage. Med andre ord vil intet advare dig om, at du nærmer dig loftet: den eneste måde at vide, hvor du står, er at føre regnskabet selv på klientsiden.

Denne sporing hviler på tre elementer: en tæller for anmodninger per minut per model, en tokentæller, der fodres af objektet usage, som hvert svar indeholder, og en alarmtærskel, der udløses ved ca. 80 % af grænserne. Dette sidste punkt er det vigtigste: En alarm ved 80 % giver dig tid til at justere – fordele belastningen, udjævne indsendelser, udløse en opgradering af niveau – hvorimod en alarm ved 100 % blot bekræfter en igangværende hændelse.

Vigtige pointer

  • Grænser måles i RPM (anmodninger/minut) og TPM (tokens/minut)
  • Tekstmodeller tilbyder som standard 1.800 RPM og 10M TPM
  • Hver model har sine egne uafhængige grænser
  • Fordeling af belastning på tværs af modeller gør det muligt at gange den effektive gennemstrømning
  • Implementér sporing på klientsiden for at forudse grænser