Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Ograničenja brzine RPM/TPM u konzoli

Lekcija 7 od 12 Ažurirano 30. srpnja 2026. Napredno
Na ovoj stranici
  1. Dvije metrike za praćenje
  2. Sustav razina (Tierovi)
  3. Provjeri svoja ograničenja
  4. Izračunaj svoju učinkovitu propusnost
  5. Prati svoje troškove u stvarnom vremenu
  6. Tokenizer za procjenu prije slanja
  7. Ključne točke

Dvije metrike za praćenje

xAI API nameće dvije vrste ograničenja brzine, mjerene po minuti i po modelu:

  • RPM (Requests Per Minute): Broj API zahtjeva koje možeš poslati u minuti, bez obzira na njihov sadržaj.
  • TPM (Tokens Per Minute): Ukupan broj tokena (ulaz + izlaz) koje možeš potrošiti u minuti.

Možeš doseći jedno ograničenje, a da ne dosegneš drugo. Na primjer, 10 kratkih zahtjeva od po 100 tokena troši malo TPM-a, ali se računa kao 10 RPM. Suprotno tome, jedan zahtjev s 50.000 kontekstualnih tokena troši puno TPM-a, ali samo 1 RPM.

Sustav razina (Tierovi)

Ograničenja se automatski prilagođavaju na temelju tvoje ukupne potrošnje. Razina se nikada ne smanjuje jednom kada je otključana:

Razina Prag potrošnje Pristup
Tier 0 $0 (zadano) Osnovna ograničenja
Tier 1 $50 potrošnje Povećana ograničenja
Tier 2 $250 potrošnje Proširena ograničenja
Tier 3 $1,000 potrošnje Visoka ograničenja
Tier 4 $5,000 potrošnje Premium ograničenja
Enterprise Na zahtjev Dogovorena ograničenja

Kumulativna potrošnja uključuje cijelu povijest tvog računa. Ne moraš potrošiti 50 USD u jednom mjesecu: ako trošiš 10 USD mjesečno tijekom 5 mjeseci, doseći ćeš Tier 1.

Provjeri svoja ograničenja

Otiđi na xAI konzolu (console.x.ai) kako bi vidio/la svoja trenutna ograničenja po modelu. Svaki model ima vlastita ograničenja za RPM i TPM. Modeli za rezoniranje općenito imaju niža ograničenja od standardnih modela.

Izračunaj svoju učinkovitu propusnost

Za podešavanje svog semafora na temelju svojih ograničenja:

# Tvoja ograničenja (primjer Tier 2)
rpm_limit = 120   # zahtjeva po minuti
tpm_limit = 200_000  # tokena po minuti

# Procijeni svoje zahtjeve
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens

# Ograničenje tokena
max_rpm_by_tokens = tpm_limit / tokens_per_request  # 200000 / 1500 = 133

# Učinkovito ograničenje = minimum od ta dva
effective_rpm = min(rpm_limit, max_rpm_by_tokens)  # min(120, 133) = 120

# Optimalni semafor
avg_duration = 8  # sekundi po zahtjevu
semaphore_value = int(effective_rpm * avg_duration / 60)  # 120 * 8 / 60 = 16

U ovom primjeru, semafor vrijednosti 16 je teoretski maksimum. U praksi koristi nižu vrijednost (12–14) kako bi zadržao/la sigurnosnu marginu.

Prati svoje troškove u stvarnom vremenu

Svaki API odgovor sadrži polje usage koje ukazuje na trošak:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}]
)

# Potrošeni tokeni
usage = response.usage
print(f"Ulazni tokeni: {usage.prompt_tokens}")
print(f"Izlazni tokeni: {usage.completion_tokens}")
print(f"Ukupno: {usage.total_tokens}")

Za troškove u dolarima, polje cost_in_usd_ticks dostupno je u nekim odgovorima. Konverzija glasi: 10 milijardi tickova = 1 USD.

Tokenizer za procjenu prije slanja

Prije slanja skupog zahtjeva, možeš procijeniti broj tokena pomoću endpointa za tokenizaciju:

# Putem REST API-ja
import httpx

async def count_tokens(text: str) -> int:
    async with httpx.AsyncClient() as http:
        response = await http.post(
            "https://api.x.ai/v1/tokenize-text",
            headers={"Authorization": f"Bearer {api_key}"},
            json={"text": text}
        )
        return response.json()["token_count"]

Ovo ti omogućuje da provjeriš hoće li veliki prompt prijeći tvoja TPM ograničenja prije nego što ga pošalješ.

Ključne točke

  • RPM i TPM su dva neovisna ograničenja: primjenjuje se strože od njih dvoje
  • Razine se automatski povećavaju s tvojom kumulativnom potrošnjom i nikada ne padaju
  • Provjeri console.x.ai za svoja točna ograničenja po modelu
  • Podesi svoj semafor na temelju minimuma između RPM-a i TPM-a
  • Koristi polje usage u odgovorima za praćenje potrošnje u stvarnom vremenu
  • Endpoint /v1/tokenize-text omogućuje ti procjenu tokena prije slanja