Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Limity rychlosti RPM/TPM v konzoli

Lekce 7 z 12 Aktualizováno 30. července 2026 Pokročilý
Na této stránce
  1. Dva metriky ke sledování
  2. Systém úrovní (Tier)
  3. Kontrola tvých limitů
  4. Výpočet efektivní propustnosti
  5. Sledování nákladů v reálném čase
  6. Tokenizer pro odhad před odesláním
  7. Klíčové poznatky

Dva metriky ke sledování

API xAI vynucuje dva typy limitů rychlosti, měřené za minutu a pro každý model zvlášť:

  • RPM (Requests Per Minute): Počet požadavků API, které můžeš odeslat za minutu, bez ohledu na jejich obsah.
  • TPM (Tokens Per Minute): Celkový počet tokenů (vstup + výstup), které můžeš spotřebovat za minutu.

Můžeš narazit na jeden limit, aniž bys dosáhl toho druhého. Například 10 krátkých požadavků po 100 tokenech spotřebuje málo TPM, ale započítá se jako 10 RPM. Naopak jediný požadavec s 50 000 kontextovými tokeny spotřebuje hodně TPM, ale pouze 1 RPM.

Systém úrovní (Tier)

Limity se automaticky upravují na základě tvých kumulativních výdajů. Úroveň nikdy neklesne, jakmile je odemčena:

Tier Spend Threshold Access
Tier 0 $0 (default) Base limits
Tier 1 $50 spend Increased limits
Tier 2 $250 spend Extended limits
Tier 3 $1,000 spend High limits
Tier 4 $5,000 spend Premium limits
Enterprise On request Negotiated limits

Kumulativní výdaje zahrnují celou historii tvého účtu. Nemusíš utratit 50 $ v jednom měsíci: pokud utratíš 10 $ měsíčně po dobu 5 měsíců, dosáhneš Tier 1.

Kontrola tvých limitů

Jdi do konzole xAI (console.x.ai), abys viděl své aktuální limity pro každý model. Každý model má své vlastní stropy pro RPM a TPM. Modely pro logické uvažování (reasoning models) mají obecně nižší limity než standardní modely.

Výpočet efektivní propustnosti

Pro nastavení velikosti semaforu na základě tvých limitů:

# Your limits (example Tier 2)
rpm_limit = 120   # requests per minute
tpm_limit = 200_000  # tokens per minute

# Estimate your requests
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens

# Token limit
max_rpm_by_tokens = tpm_limit / tokens_per_request  # 200000 / 1500 = 133

# Effective limit = min of the two
effective_rpm = min(rpm_limit, max_rpm_by_tokens)  # min(120, 133) = 120

# Optimal semaphore
avg_duration = 8  # seconds per request
semaphore_value = int(effective_rpm * avg_duration / 60)  # 120 * 8 / 60 = 16

V tomto příkladu je semafor s hodnotou 16 teoretickým maximem. V praxi použij nižší hodnotu (12–14), abys zachoval bezpečnostní rezervu.

Sledování nákladů v reálném čase

Každá odpověď API obsahuje pole usage, které udává spotřebu:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}]
)

# Tokens consumed
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")

Pro náklady v dolarech je v některých odpovědích dostupné pole cost_in_usd_ticks. Převod je: 10 miliard ticks = 1 USD.

Tokenizer pro odhad před odesláním

Před odesláním nákladného požadavku můžeš odhadnout počet tokenů pomocí koncového bodu pro tokenizaci:

# Via the REST API
import httpx

async def count_tokens(text: str) -> int:
    async with httpx.AsyncClient() as http:
        response = await http.post(
            "https://api.x.ai/v1/tokenize-text",
            headers={"Authorization": f"Bearer {api_key}"},
            json={"text": text}
        )
        return response.json()["token_count"]

To ti umožní ověřit, že velký prompt nepřekročí tvé limity TPM, než jej odešleš.

Klíčové poznatky

  • RPM a TPM jsou dva nezávislé limity: platí ten přísnější
  • Úrovně (Tiers) rostou automaticky s tvými kumulativními výdaji a nikdy neklesají
  • Pro přesné limity na model zkontroluj console.x.ai
  • Velikost semaforu nastav podle minima mezi RPM a TPM
  • Použij pole usage v odpovědích ke sledování spotřeby v reálném čase
  • Koncový bod /v1/tokenize-text ti umožní odhadnout tokeny před odesláním