Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Omejitve hitrosti RPM/TPM v konzoli

Lekcija 7 od 12 Posodobljeno 30. julij 2026 Napredni
Na tej strani
  1. Dva kazalnika za spremljanje
  2. Sistem stopenj
  3. Preveri svoje omejitve
  4. Izračunaj svojo dejansko prepustnost
  5. Spremljaj svoje stroške v realnem času
  6. Tokenizer za oceno pred pošiljanjem
  7. Ključne ugotovitve

Dva kazalnika za spremljanje

API xAI uveljavlja dve vrsti omejitev hitrosti, merjeni na minuto in na model:

  • RPM (zahtevkov na minuto): število zahtevkov API, ki jih lahko pošlješ na minuto, ne glede na njihovo vsebino.
  • TPM (žetonov na minuto): skupno število žetonov (vhod + izhod), ki jih lahko porabiš na minuto.

Lahko dosežeš eno omejitev, ne da bi dosegel drugo. Na primer, 10 kratkih zahtevkov s po 100 žetoni porabi malo TPM, a se štejejo kot 10 RPM. Nasprotno pa en sam zahtevek s 50.000 kontekstnimi žetoni porabi veliko TPM, a šteje le kot 1 RPM.

Sistem stopenj

Omejitve se samodejno prilagajajo glede na tvojo kumulativno porabo. Stopnja se nikoli ne zniža, ko je enkrat odklenjena:

Stopnja Prag porabe Dostop
Stopnja 0 0 $ (privzeto) Osnovne omejitve
Stopnja 1 50 $ porabe Povišane omejitve
Stopnja 2 250 $ porabe Razširjene omejitve
Stopnja 3 1.000 $ porabe Visoke omejitve
Stopnja 4 5.000 $ porabe Premium omejitve
Enterprise Na zahtevo Dogovorjene omejitve

Kumulativna poraba vključuje celotno zgodovino tvojega računa. Ni treba porabiti 50 $ v enem mesecu: če porabiš 10 $ na mesec pet mesecev, dosežeš stopnjo 1.

Preveri svoje omejitve

Obišči konzolo xAI (console.x.ai), da si ogledaš trenutne omejitve za vsak model. Vsak model ima svoje zgornje meje za RPM in TPM. Modeli za sklepanje imajo običajno nižje omejitve kot standardni modeli.

Izračunaj svojo dejansko prepustnost

Če želiš prilagoditi svoj semafor glede na svoje omejitve:

# Tvoje omejitve (primer stopnje 2)
rpm_limit = 120   # zahtevkov na minuto
tpm_limit = 200_000  # žetonov na minuto

# Oceni svoje zahtevke
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens

# Omejitev žetonov
max_rpm_by_tokens = tpm_limit / tokens_per_request  # 200000 / 1500 = 133

# Dejanska omejitev = minimum obeh
effective_rpm = min(rpm_limit, max_rpm_by_tokens)  # min(120, 133) = 120

# Optimalni semafor
avg_duration = 8  # sekund na zahtevek
semaphore_value = int(effective_rpm * avg_duration / 60)  # 120 * 8 / 60 = 16

V tem primeru je semafor z vrednostjo 16 teoretični maksimum. V praksi uporabi nižjo vrednost (12–14), da ohraniš varnostno rezervo.

Spremljaj svoje stroške v realnem času

Vsak odgovor API vsebuje polje usage, ki kaže porabo:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}]
)

# Porabljeni žetoni
usage = response.usage
print(f"Vhodni žetoni: {usage.prompt_tokens}")
print(f"Izhodni žetoni: {usage.completion_tokens}")
print(f"Skupaj: {usage.total_tokens}")

Za stroške v dolarjih je v nekaterih odgovorih na voljo polje cost_in_usd_ticks. Pretvorba je: 10 milijard tikov = 1 USD.

Tokenizer za oceno pred pošiljanjem

Preden pošlješ drag zahtevek, lahko oceniš število žetonov s končno točko za tokenizacijo:

# Prek REST API
import httpx

async def count_tokens(text: str) -> int:
    async with httpx.AsyncClient() as http:
        response = await http.post(
            "https://api.x.ai/v1/tokenize-text",
            headers={"Authorization": f"Bearer {api_key}"},
            json={"text": text}
        )
        return response.json()["token_count"]

To ti omogoča, da preveriš, ali velik poziv ne bo presegel tvojih omejitev TPM, preden ga pošlješ.

Ključne ugotovitve

  • RPM in TPM sta dve neodvisni omejitvi: velja tista, ki je strožja
  • Stopnje se samodejno povečujejo s tvojo kumulativno porabo in se nikoli ne znižajo
  • Preveri console.x.ai za svoje točne omejitve na model
  • Prilagodi svoj semafor glede na minimum med RPM in TPM
  • Uporabi polje usage v odgovorih za spremljanje porabe v realnem času
  • Končna točka /v1/tokenize-text ti omogoča oceno žetonov pred pošiljanjem