Ograničenja brzine RPM/TPM u konzoli
Na ovoj stranici
Dvije metrike za praćenje
xAI API nameće dvije vrste ograničenja brzine, mjerene po minuti i po modelu:
- RPM (Requests Per Minute): Broj API zahtjeva koje možeš poslati u minuti, bez obzira na njihov sadržaj.
- TPM (Tokens Per Minute): Ukupan broj tokena (ulaz + izlaz) koje možeš potrošiti u minuti.
Možeš doseći jedno ograničenje, a da ne dosegneš drugo. Na primjer, 10 kratkih zahtjeva od po 100 tokena troši malo TPM-a, ali se računa kao 10 RPM. Suprotno tome, jedan zahtjev s 50.000 kontekstualnih tokena troši puno TPM-a, ali samo 1 RPM.
Sustav razina (Tierovi)
Ograničenja se automatski prilagođavaju na temelju tvoje ukupne potrošnje. Razina se nikada ne smanjuje jednom kada je otključana:
| Razina | Prag potrošnje | Pristup |
|---|---|---|
| Tier 0 | $0 (zadano) | Osnovna ograničenja |
| Tier 1 | $50 potrošnje | Povećana ograničenja |
| Tier 2 | $250 potrošnje | Proširena ograničenja |
| Tier 3 | $1,000 potrošnje | Visoka ograničenja |
| Tier 4 | $5,000 potrošnje | Premium ograničenja |
| Enterprise | Na zahtjev | Dogovorena ograničenja |
Kumulativna potrošnja uključuje cijelu povijest tvog računa. Ne moraš potrošiti 50 USD u jednom mjesecu: ako trošiš 10 USD mjesečno tijekom 5 mjeseci, doseći ćeš Tier 1.
Provjeri svoja ograničenja
Otiđi na xAI konzolu (console.x.ai) kako bi vidio/la svoja trenutna ograničenja po modelu. Svaki model ima vlastita ograničenja za RPM i TPM. Modeli za rezoniranje općenito imaju niža ograničenja od standardnih modela.
Izračunaj svoju učinkovitu propusnost
Za podešavanje svog semafora na temelju svojih ograničenja:
# Tvoja ograničenja (primjer Tier 2)
rpm_limit = 120 # zahtjeva po minuti
tpm_limit = 200_000 # tokena po minuti
# Procijeni svoje zahtjeve
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Ograničenje tokena
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Učinkovito ograničenje = minimum od ta dva
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimalni semafor
avg_duration = 8 # sekundi po zahtjevu
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
U ovom primjeru, semafor vrijednosti 16 je teoretski maksimum. U praksi koristi nižu vrijednost (12–14) kako bi zadržao/la sigurnosnu marginu.
Prati svoje troškove u stvarnom vremenu
Svaki API odgovor sadrži polje usage koje ukazuje na trošak:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Potrošeni tokeni
usage = response.usage
print(f"Ulazni tokeni: {usage.prompt_tokens}")
print(f"Izlazni tokeni: {usage.completion_tokens}")
print(f"Ukupno: {usage.total_tokens}")
Za troškove u dolarima, polje cost_in_usd_ticks dostupno je u nekim odgovorima. Konverzija glasi: 10 milijardi tickova = 1 USD.
Tokenizer za procjenu prije slanja
Prije slanja skupog zahtjeva, možeš procijeniti broj tokena pomoću endpointa za tokenizaciju:
# Putem REST API-ja
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
Ovo ti omogućuje da provjeriš hoće li veliki prompt prijeći tvoja TPM ograničenja prije nego što ga pošalješ.
Ključne točke
- RPM i TPM su dva neovisna ograničenja: primjenjuje se strože od njih dvoje
- Razine se automatski povećavaju s tvojom kumulativnom potrošnjom i nikada ne padaju
- Provjeri
console.x.aiza svoja točna ograničenja po modelu - Podesi svoj semafor na temelju minimuma između RPM-a i TPM-a
- Koristi polje
usageu odgovorima za praćenje potrošnje u stvarnom vremenu - Endpoint
/v1/tokenize-textomogućuje ti procjenu tokena prije slanja