RPM/TPM sebességkorlátok a konzolon
Ezen az oldalon
Két mérendő mutató
Az xAI API kétféle sebességkorlátot érvényesít, amelyeket percenként és modellenként mérnek:
- RPM (Requests Per Minute – Kérések per perc): Az API-nak percenként elküldhető kérések száma, függetlenül azok tartalmától.
- TPM (Tokens Per Minute – Tokenek per perc): A percenként felhasználható tokenek (bemenet + kimenet) teljes száma.
Előfordulhat, hogy az egyik korlátot eléred, míg a másikat nem. Például 10 rövid, egyenként 100 tokenes kérés kevés TPM-et fogyaszt, de 10 RPM-nek számít. Ezzel szemben egyetlen, 50 000 kontextus-tokenes kérés rengeteg TPM-et emészt fel, de csak 1 RPM-nek minősül.
Szintrendszer
A korlátok a kumulatív költéseid alapján automatikusan módosulnak. A szint soha nem csökken, ha egyszer feloldottad:
| Szint | Költési küszöb | Hozzáférés |
|---|---|---|
| 0. szint | 0 USD (alapértelmezett) | Alapkorlátok |
| 1. szint | 50 USD költés | Megnövelt korlátok |
| 2. szint | 250 USD költés | Kiterjesztett korlátok |
| 3. szint | 1 000 USD költés | Magas korlátok |
| 4. szint | 5 000 USD költés | Prémium korlátok |
| Vállalati | Kérésre | Tárgyalt korlátok |
A kumulatív költés a fiókod teljes történetét lefedi. Nem kell 50 dollárt elköltened egyetlen hónap alatt: ha havi 10 dollárt költesz 5 hónapon keresztül, akkor is eléred az 1. szintet.
Korlátjaid ellenőrzése
Látogass el az xAI konzolra (console.x.ai), hogy megtekintsd az aktuális, modellenkénti korlátjaidat. Minden modellnek saját RPM- és TPM-korlátja van. A következtető modellek általában alacsonyabb korlátokkal rendelkeznek, mint a szabványos modellek.
Hatékony átviteli sebesség kiszámítása
A szemaforod méretezéséhez a korlátjaid alapján:
# A te korlátjaid (példa: 2. szint)
rpm_limit = 120 # kérés per perc
tpm_limit = 200_000 # token per perc
# Becsült kérések
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Tokenkorlát
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Effektív korlát = a kettő minimuma
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimális szemafor
avg_duration = 8 # másodperc per kérés
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
Ebben a példában a 16-os szemafor az elméleti maximum. A gyakorlatban használj alacsonyabb értéket (12–14), hogy biztonsági tartalékot tarts.
Költségek nyomon követése valós időben
Minden API-válasz tartalmaz egy usage mezőt, amely jelzi a költséget:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Felhasznált tokenek
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")
A dollárban kifejezett költségekhez egyes válaszokban elérhető a cost_in_usd_ticks mező. Az átváltás: 10 milliárd tick = 1 USD.
Tokenizáló a becsléshez küldés előtt
Mielőtt elküldenél egy drága kérést, becsülheted meg a tokenek számát a tokenizálási végponton keresztül:
# A REST API-n keresztül
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
Ezzel ellenőrizheted, hogy egy nagy prompt nem lépi-e túl a TPM-korlátodat, mielőtt elküldenéd.
Főbb megállapítások
- Az RPM és a TPM két független korlát: a szigorúbb érvényesül
- A szintek a kumulatív költéseiddel automatikusan növekednek, és soha nem csökkennek
- A pontos, modellenkénti korlátjaidat a
console.x.aioldalon ellenőrizheted - A szemaforodat az RPM és a TPM közötti minimum alapján méretezd
- Használd a válaszokban lévő
usagemezőt a fogyasztás valós ideű nyomon követésére - A
/v1/tokenize-textvégpont segítségével becslést készíthetsz a tokenek számáról küldés előtt