Limity rýchlosti RPM/TPM v konzole
Na tejto strane
Dva metriky na monitorovanie
API xAI presadzuje dva typy limitov rýchlosti, merané za minútu a pre každý model zvlášť:
- RPM (Requests Per Minute): Počet požiadaviek API, ktoré môžeš odoslať za minútu, bez ohľadu na ich obsah.
- TPM (Tokens Per Minute): Celkový počet tokenov (vstup + výstup), ktoré môžeš spotrebovať za minútu.
Môžeš naraziť na jeden limit, aniž by si dosiahol ten druhý. Napríklad 10 krátkych požiadaviek po 100 tokenoch spotrebuje málo TPM, ale započítajú sa ako 10 RPM. Naopak, jedna požiadavka s 50 000 kontextovými tokenmi spotrebuje veľa TPM, ale iba 1 RPM.
Systém úrovní (Tier)
Limity sa automaticky upravujú na základe tvojej kumulatívnej útraty. Úroveň nikdy neklesne, keďonáhle je odomknutá:
| Tier | Spend Threshold | Access |
|---|---|---|
| Tier 0 | $0 (default) | Base limits |
| Tier 1 | $50 spend | Increased limits |
| Tier 2 | $250 spend | Extended limits |
| Tier 3 | $1,000 spend | High limits |
| Tier 4 | $5,000 spend | Premium limits |
| Enterprise | On request | Negotiated limits |
Kumulatívna útrata zahŕňa celú históriu tvojho účtu. Nemusíš minúť 50 $ v jednom mesiaci: ak míňaš 10 $ mesačne počas 5 mesiacov, dosiahneš Tier 1.
Kontrola tvojich limitov
Prejdi na konzolu xAI (console.x.ai), aby si videl svoje aktuálne limity pre každý model. Každý model má svoje vlastné stropy pre RPM a TPM. Modely zamerané na logické usudzovanie (reasoning models) majú zvyčajne nižšie limity než štandardné modely.
Výpočet tvojej efektívnej priepustnosti
Na nastavenie semaforu podľa tvojich limitov:
# Tvoje limity (príklad Tier 2)
rpm_limit = 120 # požiadaviek za minútu
tpm_limit = 200_000 # tokenov za minútu
# Odhadni svoje požiadavky
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Limit tokenov
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Efektívny limit = minimum z oboch hodnôt
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimálny semafor
avg_duration = 8 # sekúnd na požiadavku
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
V tomto príklade je semafor s hodnotou 16 teoretické maximum. V praxi použij nižšiu hodnotu (12–14), aby si zachoval bezpečnostnú rezervu.
Sledovanie nákladov v reálnom čase
Každá odpoveď API obsahuje pole usage, ktoré indikuje náklady:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Spotrebované tokeny
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")
Pre náklady v dolároch je v niektorých odpovediach dostupné pole cost_in_usd_ticks. Konverzia je: 10 miliárd tickov = 1 USD.
Tokenizer na odhad pred odoslaním
Pred odoslaním nákladnej požiadavky môžeš odhadnúť počet tokenov pomocou endpointu pre tokenizáciu:
# Prostredníctvom REST API
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
To ti umožní overiť, či veľký prompt neprekročí tvoje limity TPM skôr, než ho odosleš.
Kľúčové poznatky
- RPM a TPM sú dva nezávislé limity: platí ten prísnejší
- Úrovne (Tiers) sa zvyšujú automaticky s tvojou kumulatívnou útratou a nikdy neklesajú
- Skontroluj
console.x.aipre svoje presné limity na každý model - Nastav veľkosť semaforu na základe minima medzi RPM a TPM
- Použi pole
usagev odpovediach na sledovanie spotreby v reálnom čase - Endpoint
/v1/tokenize-textti umožní odhadnúť tokeny pred odoslaním