Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Konsolin RPM/TPM-nopeusrajoitukset

Oppitunti 7 / 12 Päivitetty 30. heinäkuuta 2026 Edistynyt
Tällä sivulla
  1. Kaksi seurattavaa mittaria
  2. Tasojärjestelmä
  3. Tarkista rajoituksesi
  4. Laske tehollinen läpimeno
  5. Seuraa kustannuksiasi reaaliajassa
  6. Tokenisaattori arviointiin ennen lähetystä
  7. Keskeiset asiat

Kaksi seurattavaa mittaria

xAI API valvoo kahta erityyppistä nopeusrajoitusta, jotka mitataan minuuttikohtaisesti ja mallikohtaisesti:

  • RPM (Requests Per Minute): API-pyyntöjen määrä, jonka voit lähettää minuutissa riippumatta niiden sisällöstä.
  • TPM (Tokens Per Minute): Tokenien kokonaismäärä (syöte + tuloste), jonka voit kuluttaa minuutissa.

Voit saavuttaa toisen rajoituksen ilman, että toinen täyttyy. Esimerkiksi 10 lyhyttä pyyntöä, joissa kussakin on 100 tokenia, kuluttavat vähän TPM-rajoitusta, mutta lasketaan 10 RPM:nä. Päinvastoin, yksittäinen pyyntö, jossa on 50 000 kontekstitokenia, kuluttaa paljon TPM-rajoitusta, mutta vain 1 RPM:n.

Tasojärjestelmä

Rajoitukset mukautuvat automaattisesti kumulatiivisten kulutustesi perusteella. Taso ei koskaan laske, kun se on avautunut:

Tier Spend Threshold Access
Tier 0 $0 (default) Base limits
Tier 1 $50 spend Increased limits
Tier 2 $250 spend Extended limits
Tier 3 $1,000 spend High limits
Tier 4 $5,000 spend Premium limits
Enterprise On request Negotiated limits

Kumulatiivisiin kuluihin sisältyy koko tilinhistoriasi. Sinun ei tarvitse käyttää 50 dollaria yhdessä kuukaudessa: jos käytät 10 dollaria kuukaudessa viiden kuukauden ajan, saavutat tason 1.

Tarkista rajoituksesi

Siirry xAI-konsoliin (console.x.ai) nähdäksesi nykyiset rajoituksesi mallikohtaisesti. Jokaisella mallilla on omat RPM- ja TPM-kattorajansa. Päättelymallien rajoitukset ovat yleensä alhaisemmat kuin standardimallien.

Laske tehollinen läpimeno

Mitoita semaforisi rajoitustesi perusteella seuraavasti:

# Rajoituksesi (esimerkiksi taso 2)
rpm_limit = 120   # pyyntöä minuutissa
tpm_limit = 200_000  # tokenia minuutissa

# Arvioi pyyntösi
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens

# Tokenirajoitus
max_rpm_by_tokens = tpm_limit / tokens_per_request  # 200000 / 1500 = 133

# Tehollinen rajoitus = pienin arvoista
effective_rpm = min(rpm_limit, max_rpm_by_tokens)  # min(120, 133) = 120

# Optimaalinen semafori
avg_duration = 8  # sekuntia pyyntöä kohti
semaphore_value = int(effective_rpm * avg_duration / 60)  # 120 * 8 / 60 = 16

Tässä esimerkissä semaforin arvo 16 on teoreettinen maksimi. Käytännössä käytä pienempää arvoa (12–14) pitääksesi itselläsi turvallisuusmarginaalin.

Seuraa kustannuksiasi reaaliajassa

Jokainen API-vastaus sisältää usage-kentän, joka ilmoittaa kulutuksen:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}]
)

# Kulutetut tokenit
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")

Kustannukset dollareina saat joissakin vastauksissa olevasta cost_in_usd_ticks-kentästä. Muunnos on: 10 miljardia tickiä = 1 USD.

Tokenisaattori arviointiin ennen lähetystä

Ennen kalliin pyynnön lähettämistä voit arvioida tokenimäärän tokenisointipäätepisteen avulla:

# REST API:n kautta
import httpx

async def count_tokens(text: str) -> int:
    async with httpx.AsyncClient() as http:
        response = await http.post(
            "https://api.x.ai/v1/tokenize-text",
            headers={"Authorization": f"Bearer {api_key}"},
            json={"text": text}
        )
        return response.json()["token_count"]

Tämän avulla voit varmistaa, ettei suuri kehote ylitä TPM-rajoituksiasi ennen sen lähettämistä.

Keskeiset asiat

  • RPM ja TPM ovat kaksi riippumatonta rajoitusta: tiukempi niistä on voimassa
  • Tasot nousevat automaattisesti kumulatiivisten kulutustesi myötä eivätkä koskaan laske
  • Tarkista tarkat rajoituksesi mallikohtaisesti osoitteesta console.x.ai
  • Mitoita semaforisi RPM:n ja TPM:n välisen pienimmän arvon perusteella
  • Käytä vastauksissa olevaa usage-kenttää kulutuksen seuraamiseen reaaliajassa
  • /v1/tokenize-text-päätepisteen avulla voit arvioida tokenimäärän ennen lähetystä