Salt la conținutul principal
Română— Alege o limbă
Meniu

Limite de rate RPM/TPM în consolă

Lecția 7 din 12 Actualizată 30 iulie 2026 Avansat
Pe această pagină
  1. Doi indicatori de monitorizat
  2. Sistemul de niveluri (Tiers)
  3. Verificarea limitelor
  4. Calcularea throughput-ului efectiv
  5. Urmărirea costurilor în timp real
  6. Tokenizer pentru estimare înainte de trimitere
  7. Puncte cheie

Doi indicatori de monitorizat

API-ul xAI impune două tipuri de limite de rate, calculate pe minut și per model:

  • RPM (Requests Per Minute): Numărul de cereri API pe care le puteți trimite pe minut, indiferent de conținutul lor.
  • TPM (Tokens Per Minute): Numărul total de tokeni (intrare + ieșire) pe care îi puteți consuma pe minut.

Puteți atinge o limită fără a o atinge pe cealaltă. De exemplu, 10 cereri scurte de câte 100 de tokeni fiecare consumă puțini tokeni TPM, dar contează ca 10 RPM. Invers, o singură cerere cu 50.000 de tokeni de context consumă mulți tokeni TPM, dar doar 1 RPM.

Sistemul de niveluri (Tiers)

Limitele se ajustează automat în funcție de cheltuielile cumulative. Odată deblocat, nivelul nu scade niciodată:

Tier Spend Threshold Access
Tier 0 $0 (default) Base limits
Tier 1 $50 spend Increased limits
Tier 2 $250 spend Extended limits
Tier 3 $1,000 spend High limits
Tier 4 $5,000 spend Premium limits
Enterprise On request Negotiated limits

Cheltuielile cumulative includ întregul istoric al contului dumneavoastră. Nu este necesar să cheltuiți 50 USD într-o singură lună: dacă cheltuiți 10 USD pe lună timp de 5 luni, veți atinge Tier 1.

Verificarea limitelor

Accesați consola xAI (console.x.ai) pentru a vedea limitele curente per model. Fiecare model are propriile sale plafoane RPM și TPM. Modelele de raționament au, în general, limite mai scăzute decât modelele standard.

Calcularea throughput-ului efectiv

Pentru a dimensiona semaforul în funcție de limitele dumneavoastră:

# Limitele dumneavoastră (exemplu Tier 2)
rpm_limit = 120   # cereri pe minut
tpm_limit = 200_000  # tokeni pe minut

# Estimarea cererilor
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens

# Limita bazată pe tokeni
max_rpm_by_tokens = tpm_limit / tokens_per_request  # 200000 / 1500 = 133

# Limita efectivă = minimul dintre cele două
effective_rpm = min(rpm_limit, max_rpm_by_tokens)  # min(120, 133) = 120

# Semafor optim
avg_duration = 8  # secunde per cerere
semaphore_value = int(effective_rpm * avg_duration / 60)  # 120 * 8 / 60 = 16

În acest exemplu, un semafor cu valoarea 16 reprezintă maximul teoretic. În practică, utilizați o valoare mai mică (12–14) pentru a menține o marjă de siguranță.

Urmărirea costurilor în timp real

Fiecare răspuns API conține un câmp usage care indică costul:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}]
)

# Tokeni consumați
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")

Pentru costuri în dolari, câmpul cost_in_usd_ticks este disponibil în unele răspunsuri. Conversia este: 10 miliarde de ticks = 1 USD.

Tokenizer pentru estimare înainte de trimitere

Înainte de a trimite o cerere costisitoare, puteți estima numărul de tokeni folosind endpoint-ul de tokenizare:

# Prin API REST
import httpx

async def count_tokens(text: str) -> int:
    async with httpx.AsyncClient() as http:
        response = await http.post(
            "https://api.x.ai/v1/tokenize-text",
            headers={"Authorization": f"Bearer {api_key}"},
            json={"text": text}
        )
        return response.json()["token_count"]

Acest lucru vă permite să verificați dacă un prompt mare nu va depăși limitele TPM înainte de a-l trimite.

Puncte cheie

  • RPM și TPM sunt două limite independente: se aplică cea mai restrictivă dintre ele
  • Nivelurile (Tiers) cresc automat odată cu cheltuielile cumulative și nu scad niciodată
  • Verificați console.x.ai pentru limitele exacte per model
  • Dimensionați semaforul în funcție de minimul dintre RPM și TPM
  • Utilizați câmpul usage din răspunsuri pentru a urmări consumul în timp real
  • Endpoint-ul /v1/tokenize-text vă permite să estimați tokenii înainte de trimitere