Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

RPM/TPM ierobežojumi konsolē

Nodarbība 7 no 12 Atjaunota 2026. gada 30. jūlijs Augstākais
Šajā lapā
  1. Divi uzraugāmie rādītāji
  2. Līmeņu sistēma
  3. Pārbaudi savus ierobežojumus
  4. Aprēķini savu efektīvo caurlaidspēju
  5. Izseko savas izmaksas reāllaikā
  6. Tokenizētājs novērtējumam pirms nosūtīšanas
  7. Galvenās atziņas

Divi uzraugāmie rādītāji

xAI API piemēro divu veidu ātruma ierobežojumus, ko mēra minūtē un katram modelim atsevišķi:

  • RPM (pieprasījumi minūtē): API pieprasījumu skaits, ko vari nosūtīt minūtē neatkarīgi no to satura.
  • TPM (tokeni minūtē): Kopējais tokena skaits (ievade + izvade), ko vari patērēt minūtē.

Tu vari sasniegt vienu ierobežojumu, nesasniedzot otru. Piemēram, 10 īsi pieprasījumi ar 100 tokeniem katrs patērē maz TPM, bet skaitās kā 10 RPM. Turpretī viens pieprasījums ar 50 000 konteksta tokeniem patērē daudz TPM, bet tikai 1 RPM.

Līmeņu sistēma

Ierobežojumi automātiski pielāgojas, pamatojoties uz taviem kopējiem izdevumiem. Kad līmenis ir atbloķēts, tas nekad nenokrītas zemāk:

Līmenis Izdevumu slieksnis Piekļuve
0. līmenis 0 USD (noklusējums) Pamata ierobežojumi
1. līmenis 50 USD izdevumi Palielināti ierobežojumi
2. līmenis 250 USD izdevumi Paplašināti ierobežojumi
3. līmenis 1000 USD izdevumi Augsti ierobežojumi
4. līmenis 5000 USD izdevumi Prēmiju ierobežojumi
Uzņēmums Pēc pieprasījuma Vienoti ierobežojumi

Kopējie izdevumi ietver visu tava konta vēsturi. Tev nav jāiztērē 50 USD vienā mēnesī: ja tērē 10 USD mēnesī 5 mēnešus, tu sasniedz 1. līmeni.

Pārbaudi savus ierobežojumus

Dodies uz xAI konsoli (console.x.ai), lai apskatītu pašreizējos ierobežojumus katram modelim. Katram modelim ir savi RPM un TPM griesti. Spriešanas modeļiem parasti ir zemāki ierobežojumi nekā standarta modeļiem.

Aprēķini savu efektīvo caurlaidspēju

Lai pielāgotu savu semaforu atbilstoši saviem ierobežojumiem:

# Tavi ierobežojumi (piemēram, 2. līmenis)
rpm_limit = 120   # pieprasījumi minūtē
tpm_limit = 200_000  # tokeni minūtē

# Novērtē savus pieprasījumus
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens

# Tokenu ierobežojums
max_rpm_by_tokens = tpm_limit / tokens_per_request  # 200000 / 1500 = 133

# Efektīvais ierobežojums = mazākais no abiem
effective_rpm = min(rpm_limit, max_rpm_by_tokens)  # min(120, 133) = 120

# Optimāls semafors
avg_duration = 8  # sekundes uz pieprasījumu
semaphore_value = int(effective_rpm * avg_duration / 60)  # 120 * 8 / 60 = 16

Šajā piemērā semafors ar vērtību 16 ir teorētiskais maksimums. Praksē izmanto zemāku vērtību (12–14), lai saglabātu drošības rezervi.

Izseko savas izmaksas reāllaikā

Katrā API atbildē ir lauks usage, kas norāda izmaksas:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}]
)

# Patērētie tokeni
usage = response.usage
print(f"Ievades tokeni: {usage.prompt_tokens}")
print(f"Izvades tokeni: {usage.completion_tokens}")
print(f"Kopā: {usage.total_tokens}")

Izmaksām dolāros dažās atbildēs ir pieejams lauks cost_in_usd_ticks. Konversija ir: 10 miljardi ticks = 1 USD.

Tokenizētājs novērtējumam pirms nosūtīšanas

Pirms dārga pieprasījuma nosūtīšanas tu vari novērtēt tokena skaitu, izmantojot tokenizācijas galapunktu:

# Izmantojot REST API
import httpx

async def count_tokens(text: str) -> int:
    async with httpx.AsyncClient() as http:
        response = await http.post(
            "https://api.x.ai/v1/tokenize-text",
            headers={"Authorization": f"Bearer {api_key}"},
            json={"text": text}
        )
        return response.json()["token_count"]

Tas ļauj pārliecināties, ka liels uzvednis nepārsniegs tavus TPM ierobežojumus, pirms to nosūti.

Galvenās atziņas

  • RPM un TPM ir divi neatkarīgi ierobežojumi: spēkā ir stingrākais no tiem
  • Līmeņi automātiski paaugstinās, pieaugot taviem kopējiem izdevumiem, un nekad nesamazinās
  • Pārbaudi console.x.ai, lai uzzinātu precīzus ierobežojumus katram modelim
  • Pielāgo savu semaforu, balstoties uz minimumu starp RPM un TPM
  • Izmanto lauku usage atbildēs, lai reāllaikā izsekotu patēriņu
  • Galapunkts /v1/tokenize-text ļauj novērtēt tokenus pirms nosūtīšanas