Limite de rate RPM/TPM în consolă
Pe această pagină
Doi indicatori de monitorizat
API-ul xAI impune două tipuri de limite de rate, calculate pe minut și per model:
- RPM (Requests Per Minute): Numărul de cereri API pe care le puteți trimite pe minut, indiferent de conținutul lor.
- TPM (Tokens Per Minute): Numărul total de tokeni (intrare + ieșire) pe care îi puteți consuma pe minut.
Puteți atinge o limită fără a o atinge pe cealaltă. De exemplu, 10 cereri scurte de câte 100 de tokeni fiecare consumă puțini tokeni TPM, dar contează ca 10 RPM. Invers, o singură cerere cu 50.000 de tokeni de context consumă mulți tokeni TPM, dar doar 1 RPM.
Sistemul de niveluri (Tiers)
Limitele se ajustează automat în funcție de cheltuielile cumulative. Odată deblocat, nivelul nu scade niciodată:
| Tier | Spend Threshold | Access |
|---|---|---|
| Tier 0 | $0 (default) | Base limits |
| Tier 1 | $50 spend | Increased limits |
| Tier 2 | $250 spend | Extended limits |
| Tier 3 | $1,000 spend | High limits |
| Tier 4 | $5,000 spend | Premium limits |
| Enterprise | On request | Negotiated limits |
Cheltuielile cumulative includ întregul istoric al contului dumneavoastră. Nu este necesar să cheltuiți 50 USD într-o singură lună: dacă cheltuiți 10 USD pe lună timp de 5 luni, veți atinge Tier 1.
Verificarea limitelor
Accesați consola xAI (console.x.ai) pentru a vedea limitele curente per model. Fiecare model are propriile sale plafoane RPM și TPM. Modelele de raționament au, în general, limite mai scăzute decât modelele standard.
Calcularea throughput-ului efectiv
Pentru a dimensiona semaforul în funcție de limitele dumneavoastră:
# Limitele dumneavoastră (exemplu Tier 2)
rpm_limit = 120 # cereri pe minut
tpm_limit = 200_000 # tokeni pe minut
# Estimarea cererilor
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Limita bazată pe tokeni
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Limita efectivă = minimul dintre cele două
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Semafor optim
avg_duration = 8 # secunde per cerere
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
În acest exemplu, un semafor cu valoarea 16 reprezintă maximul teoretic. În practică, utilizați o valoare mai mică (12–14) pentru a menține o marjă de siguranță.
Urmărirea costurilor în timp real
Fiecare răspuns API conține un câmp usage care indică costul:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Tokeni consumați
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")
Pentru costuri în dolari, câmpul cost_in_usd_ticks este disponibil în unele răspunsuri. Conversia este: 10 miliarde de ticks = 1 USD.
Tokenizer pentru estimare înainte de trimitere
Înainte de a trimite o cerere costisitoare, puteți estima numărul de tokeni folosind endpoint-ul de tokenizare:
# Prin API REST
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
Acest lucru vă permite să verificați dacă un prompt mare nu va depăși limitele TPM înainte de a-l trimite.
Puncte cheie
- RPM și TPM sunt două limite independente: se aplică cea mai restrictivă dintre ele
- Nivelurile (Tiers) cresc automat odată cu cheltuielile cumulative și nu scad niciodată
- Verificați
console.x.aipentru limitele exacte per model - Dimensionați semaforul în funcție de minimul dintre RPM și TPM
- Utilizați câmpul
usagedin răspunsuri pentru a urmări consumul în timp real - Endpoint-ul
/v1/tokenize-textvă permite să estimați tokenii înainte de trimitere