Omejitve hitrosti RPM/TPM v konzoli
Na tej strani
Dva kazalnika za spremljanje
API xAI uveljavlja dve vrsti omejitev hitrosti, merjeni na minuto in na model:
- RPM (zahtevkov na minuto): število zahtevkov API, ki jih lahko pošlješ na minuto, ne glede na njihovo vsebino.
- TPM (žetonov na minuto): skupno število žetonov (vhod + izhod), ki jih lahko porabiš na minuto.
Lahko dosežeš eno omejitev, ne da bi dosegel drugo. Na primer, 10 kratkih zahtevkov s po 100 žetoni porabi malo TPM, a se štejejo kot 10 RPM. Nasprotno pa en sam zahtevek s 50.000 kontekstnimi žetoni porabi veliko TPM, a šteje le kot 1 RPM.
Sistem stopenj
Omejitve se samodejno prilagajajo glede na tvojo kumulativno porabo. Stopnja se nikoli ne zniža, ko je enkrat odklenjena:
| Stopnja | Prag porabe | Dostop |
|---|---|---|
| Stopnja 0 | 0 $ (privzeto) | Osnovne omejitve |
| Stopnja 1 | 50 $ porabe | Povišane omejitve |
| Stopnja 2 | 250 $ porabe | Razširjene omejitve |
| Stopnja 3 | 1.000 $ porabe | Visoke omejitve |
| Stopnja 4 | 5.000 $ porabe | Premium omejitve |
| Enterprise | Na zahtevo | Dogovorjene omejitve |
Kumulativna poraba vključuje celotno zgodovino tvojega računa. Ni treba porabiti 50 $ v enem mesecu: če porabiš 10 $ na mesec pet mesecev, dosežeš stopnjo 1.
Preveri svoje omejitve
Obišči konzolo xAI (console.x.ai), da si ogledaš trenutne omejitve za vsak model. Vsak model ima svoje zgornje meje za RPM in TPM. Modeli za sklepanje imajo običajno nižje omejitve kot standardni modeli.
Izračunaj svojo dejansko prepustnost
Če želiš prilagoditi svoj semafor glede na svoje omejitve:
# Tvoje omejitve (primer stopnje 2)
rpm_limit = 120 # zahtevkov na minuto
tpm_limit = 200_000 # žetonov na minuto
# Oceni svoje zahtevke
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Omejitev žetonov
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Dejanska omejitev = minimum obeh
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimalni semafor
avg_duration = 8 # sekund na zahtevek
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
V tem primeru je semafor z vrednostjo 16 teoretični maksimum. V praksi uporabi nižjo vrednost (12–14), da ohraniš varnostno rezervo.
Spremljaj svoje stroške v realnem času
Vsak odgovor API vsebuje polje usage, ki kaže porabo:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Porabljeni žetoni
usage = response.usage
print(f"Vhodni žetoni: {usage.prompt_tokens}")
print(f"Izhodni žetoni: {usage.completion_tokens}")
print(f"Skupaj: {usage.total_tokens}")
Za stroške v dolarjih je v nekaterih odgovorih na voljo polje cost_in_usd_ticks. Pretvorba je: 10 milijard tikov = 1 USD.
Tokenizer za oceno pred pošiljanjem
Preden pošlješ drag zahtevek, lahko oceniš število žetonov s končno točko za tokenizacijo:
# Prek REST API
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
To ti omogoča, da preveriš, ali velik poziv ne bo presegel tvojih omejitev TPM, preden ga pošlješ.
Ključne ugotovitve
- RPM in TPM sta dve neodvisni omejitvi: velja tista, ki je strožja
- Stopnje se samodejno povečujejo s tvojo kumulativno porabo in se nikoli ne znižajo
- Preveri
console.x.aiza svoje točne omejitve na model - Prilagodi svoj semafor glede na minimum med RPM in TPM
- Uporabi polje
usagev odgovorih za spremljanje porabe v realnem času - Končna točka
/v1/tokenize-textti omogoča oceno žetonov pred pošiljanjem