Konsolin RPM/TPM-nopeusrajoitukset
Tällä sivulla
Kaksi seurattavaa mittaria
xAI API valvoo kahta erityyppistä nopeusrajoitusta, jotka mitataan minuuttikohtaisesti ja mallikohtaisesti:
- RPM (Requests Per Minute): API-pyyntöjen määrä, jonka voit lähettää minuutissa riippumatta niiden sisällöstä.
- TPM (Tokens Per Minute): Tokenien kokonaismäärä (syöte + tuloste), jonka voit kuluttaa minuutissa.
Voit saavuttaa toisen rajoituksen ilman, että toinen täyttyy. Esimerkiksi 10 lyhyttä pyyntöä, joissa kussakin on 100 tokenia, kuluttavat vähän TPM-rajoitusta, mutta lasketaan 10 RPM:nä. Päinvastoin, yksittäinen pyyntö, jossa on 50 000 kontekstitokenia, kuluttaa paljon TPM-rajoitusta, mutta vain 1 RPM:n.
Tasojärjestelmä
Rajoitukset mukautuvat automaattisesti kumulatiivisten kulutustesi perusteella. Taso ei koskaan laske, kun se on avautunut:
| Tier | Spend Threshold | Access |
|---|---|---|
| Tier 0 | $0 (default) | Base limits |
| Tier 1 | $50 spend | Increased limits |
| Tier 2 | $250 spend | Extended limits |
| Tier 3 | $1,000 spend | High limits |
| Tier 4 | $5,000 spend | Premium limits |
| Enterprise | On request | Negotiated limits |
Kumulatiivisiin kuluihin sisältyy koko tilinhistoriasi. Sinun ei tarvitse käyttää 50 dollaria yhdessä kuukaudessa: jos käytät 10 dollaria kuukaudessa viiden kuukauden ajan, saavutat tason 1.
Tarkista rajoituksesi
Siirry xAI-konsoliin (console.x.ai) nähdäksesi nykyiset rajoituksesi mallikohtaisesti. Jokaisella mallilla on omat RPM- ja TPM-kattorajansa. Päättelymallien rajoitukset ovat yleensä alhaisemmat kuin standardimallien.
Laske tehollinen läpimeno
Mitoita semaforisi rajoitustesi perusteella seuraavasti:
# Rajoituksesi (esimerkiksi taso 2)
rpm_limit = 120 # pyyntöä minuutissa
tpm_limit = 200_000 # tokenia minuutissa
# Arvioi pyyntösi
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Tokenirajoitus
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Tehollinen rajoitus = pienin arvoista
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimaalinen semafori
avg_duration = 8 # sekuntia pyyntöä kohti
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
Tässä esimerkissä semaforin arvo 16 on teoreettinen maksimi. Käytännössä käytä pienempää arvoa (12–14) pitääksesi itselläsi turvallisuusmarginaalin.
Seuraa kustannuksiasi reaaliajassa
Jokainen API-vastaus sisältää usage-kentän, joka ilmoittaa kulutuksen:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Kulutetut tokenit
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")
Kustannukset dollareina saat joissakin vastauksissa olevasta cost_in_usd_ticks-kentästä. Muunnos on: 10 miljardia tickiä = 1 USD.
Tokenisaattori arviointiin ennen lähetystä
Ennen kalliin pyynnön lähettämistä voit arvioida tokenimäärän tokenisointipäätepisteen avulla:
# REST API:n kautta
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
Tämän avulla voit varmistaa, ettei suuri kehote ylitä TPM-rajoituksiasi ennen sen lähettämistä.
Keskeiset asiat
- RPM ja TPM ovat kaksi riippumatonta rajoitusta: tiukempi niistä on voimassa
- Tasot nousevat automaattisesti kumulatiivisten kulutustesi myötä eivätkä koskaan laske
- Tarkista tarkat rajoituksesi mallikohtaisesti osoitteesta
console.x.ai - Mitoita semaforisi RPM:n ja TPM:n välisen pienimmän arvon perusteella
- Käytä vastauksissa olevaa
usage-kenttää kulutuksen seuraamiseen reaaliajassa /v1/tokenize-text-päätepisteen avulla voit arvioida tokenimäärän ennen lähetystä