Console'i RPM/TPM kiirusepiirangud
Sellel lehel
Kaks jälgitavat näitajat
xAI API rakendab kahte tüüpi kiirusepiiranguid, mida mõõdetakse minuti ja mudeli kohta:
- RPM (Päringuid minutis): API päringute arv, mida saad saata minutis, sõltumata nende sisust.
- TPM (Tokeneid minutis): Tokenite koguarv (sisend + väljund), mida saad minutis tarbida.
Võid ühe piirangu ületada, teist aga mitte. Näiteks 10 lühikest päringut, millest igaüks on 100 tokenit, tarbivad vähe TPM-i, kuid loevad 10 RPM-i. Vastupidi, üksainus päring 50 000 kontekstitokeniga tarbib palju TPM-i, kuid ainult 1 RPM-i.
Tasemesüsteem
Piirangud kohanduvad automaatselt vastavalt sinu kumulatiivsetele kulutustele. Kui tase on avatud, ei lange see kunagi tagasi:
| Tase | Kulutuste lävi | Juurdepääs |
|---|---|---|
| Tase 0 | 0 $ (vaikimisi) | Baaspiirangud |
| Tase 1 | 50 $ kulutust | Suurendatud piirangud |
| Tase 2 | 250 $ kulutust | Laiendatud piirangud |
| Tase 3 | 1000 $ kulutust | Kõrged piirangud |
| Tase 4 | 5000 $ kulutust | Premium-piirangud |
| Ettevõte | Taotluse alusel | Kokkuleppelised piirangud |
Kumulatiivsed kulutused hõlmavad kogu sinu konto ajalugu. Sa ei pea kulutama 50 dollarit ühe kuuga: kui kulutad 5 kuu jooksul 10 dollarit kuus, jõuad tasemele 1.
Kontrolli oma piiranguid
Suundu xAI console’i (console.x.ai), et näha oma praeguseid piiranguid iga mudeli kohta. Igal mudelil on oma RPM-i ja TPM-i ülempiirid. Põhjendavatel mudelitel on üldjuhul madalamad piirangud kui standardmudelitel.
Arvuta oma tegelik läbilaskevõime
Semafori suuruse määramiseks vastavalt oma piirangutele:
# Sinu piirangud (näiteks Tase 2)
rpm_limit = 120 # päringuid minutis
tpm_limit = 200_000 # tokeneid minutis
# Hinda oma päringuid
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Tokenite piirang
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Tegelik piirang = kahest väiksem
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimaalne semafor
avg_duration = 8 # sekundit päringu kohta
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
Selles näites on 16 semafori väärtus teoreetiline maksimum. Praktikas kasuta madalamat väärtust (12–14), et jätta ohutusvaru.
Jälgi oma kulusid reaalajas
Iga API vastus sisaldab välja usage, mis näitab kulu:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Tarbitud tokenid
usage = response.usage
print(f"Sisendtokenid: {usage.prompt_tokens}")
print(f"Väljundtokenid: {usage.completion_tokens}")
print(f"Kokku: {usage.total_tokens}")
Kulude jaoks dollarites on mõnes vastuses saadaval väli cost_in_usd_ticks. Teisendus on: 10 miljardit ticki = 1 USD.
Tokenisaator eelhinnangu tegemiseks enne saatmist
Enne kalli päringu saatmist saad hinnata tokenite arvu tokeniseerimise lõpp-punkti abil:
# REST API kaudu
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
See võimaldab sul enne saatmist veenduda, et suur vihje ei ületa sinu TPM-i piiranguid.
Peamised punktid
- RPM ja TPM on kaks sõltumatut piirangut: kehtib rangem neist
- Tasemed tõusevad automaatselt koos sinu kumulatiivsete kulutustega ja ei lange kunagi
- Kontrolli oma täpseid piiranguid iga mudeli kohta aadressil
console.x.ai - Määra semafori suurus vastavalt RPM-i ja TPM-i miinimumile
- Kasuta vastustes olevat välja
usage, et jälgida tarbimist reaalajas - Lõpp-punkt
/v1/tokenize-textvõimaldab hinnata tokenite arvu enne saatmist