Limity rychlosti RPM/TPM v konzoli
Na této stránce
Dva metriky ke sledování
API xAI vynucuje dva typy limitů rychlosti, měřené za minutu a pro každý model zvlášť:
- RPM (Requests Per Minute): Počet požadavků API, které můžeš odeslat za minutu, bez ohledu na jejich obsah.
- TPM (Tokens Per Minute): Celkový počet tokenů (vstup + výstup), které můžeš spotřebovat za minutu.
Můžeš narazit na jeden limit, aniž bys dosáhl toho druhého. Například 10 krátkých požadavků po 100 tokenech spotřebuje málo TPM, ale započítá se jako 10 RPM. Naopak jediný požadavec s 50 000 kontextovými tokeny spotřebuje hodně TPM, ale pouze 1 RPM.
Systém úrovní (Tier)
Limity se automaticky upravují na základě tvých kumulativních výdajů. Úroveň nikdy neklesne, jakmile je odemčena:
| Tier | Spend Threshold | Access |
|---|---|---|
| Tier 0 | $0 (default) | Base limits |
| Tier 1 | $50 spend | Increased limits |
| Tier 2 | $250 spend | Extended limits |
| Tier 3 | $1,000 spend | High limits |
| Tier 4 | $5,000 spend | Premium limits |
| Enterprise | On request | Negotiated limits |
Kumulativní výdaje zahrnují celou historii tvého účtu. Nemusíš utratit 50 $ v jednom měsíci: pokud utratíš 10 $ měsíčně po dobu 5 měsíců, dosáhneš Tier 1.
Kontrola tvých limitů
Jdi do konzole xAI (console.x.ai), abys viděl své aktuální limity pro každý model. Každý model má své vlastní stropy pro RPM a TPM. Modely pro logické uvažování (reasoning models) mají obecně nižší limity než standardní modely.
Výpočet efektivní propustnosti
Pro nastavení velikosti semaforu na základě tvých limitů:
# Your limits (example Tier 2)
rpm_limit = 120 # requests per minute
tpm_limit = 200_000 # tokens per minute
# Estimate your requests
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Token limit
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Effective limit = min of the two
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimal semaphore
avg_duration = 8 # seconds per request
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
V tomto příkladu je semafor s hodnotou 16 teoretickým maximem. V praxi použij nižší hodnotu (12–14), abys zachoval bezpečnostní rezervu.
Sledování nákladů v reálném čase
Každá odpověď API obsahuje pole usage, které udává spotřebu:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Tokens consumed
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")
Pro náklady v dolarech je v některých odpovědích dostupné pole cost_in_usd_ticks. Převod je: 10 miliard ticks = 1 USD.
Tokenizer pro odhad před odesláním
Před odesláním nákladného požadavku můžeš odhadnout počet tokenů pomocí koncového bodu pro tokenizaci:
# Via the REST API
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
To ti umožní ověřit, že velký prompt nepřekročí tvé limity TPM, než jej odešleš.
Klíčové poznatky
- RPM a TPM jsou dva nezávislé limity: platí ten přísnější
- Úrovně (Tiers) rostou automaticky s tvými kumulativními výdaji a nikdy neklesají
- Pro přesné limity na model zkontroluj
console.x.ai - Velikost semaforu nastav podle minima mezi RPM a TPM
- Použij pole
usagev odpovědích ke sledování spotřeby v reálném čase - Koncový bod
/v1/tokenize-textti umožní odhadnout tokeny před odesláním