RPM/TPM ierobežojumi konsolē
Šajā lapā
Divi uzraugāmie rādītāji
xAI API piemēro divu veidu ātruma ierobežojumus, ko mēra minūtē un katram modelim atsevišķi:
- RPM (pieprasījumi minūtē): API pieprasījumu skaits, ko vari nosūtīt minūtē neatkarīgi no to satura.
- TPM (tokeni minūtē): Kopējais tokena skaits (ievade + izvade), ko vari patērēt minūtē.
Tu vari sasniegt vienu ierobežojumu, nesasniedzot otru. Piemēram, 10 īsi pieprasījumi ar 100 tokeniem katrs patērē maz TPM, bet skaitās kā 10 RPM. Turpretī viens pieprasījums ar 50 000 konteksta tokeniem patērē daudz TPM, bet tikai 1 RPM.
Līmeņu sistēma
Ierobežojumi automātiski pielāgojas, pamatojoties uz taviem kopējiem izdevumiem. Kad līmenis ir atbloķēts, tas nekad nenokrītas zemāk:
| Līmenis | Izdevumu slieksnis | Piekļuve |
|---|---|---|
| 0. līmenis | 0 USD (noklusējums) | Pamata ierobežojumi |
| 1. līmenis | 50 USD izdevumi | Palielināti ierobežojumi |
| 2. līmenis | 250 USD izdevumi | Paplašināti ierobežojumi |
| 3. līmenis | 1000 USD izdevumi | Augsti ierobežojumi |
| 4. līmenis | 5000 USD izdevumi | Prēmiju ierobežojumi |
| Uzņēmums | Pēc pieprasījuma | Vienoti ierobežojumi |
Kopējie izdevumi ietver visu tava konta vēsturi. Tev nav jāiztērē 50 USD vienā mēnesī: ja tērē 10 USD mēnesī 5 mēnešus, tu sasniedz 1. līmeni.
Pārbaudi savus ierobežojumus
Dodies uz xAI konsoli (console.x.ai), lai apskatītu pašreizējos ierobežojumus katram modelim. Katram modelim ir savi RPM un TPM griesti. Spriešanas modeļiem parasti ir zemāki ierobežojumi nekā standarta modeļiem.
Aprēķini savu efektīvo caurlaidspēju
Lai pielāgotu savu semaforu atbilstoši saviem ierobežojumiem:
# Tavi ierobežojumi (piemēram, 2. līmenis)
rpm_limit = 120 # pieprasījumi minūtē
tpm_limit = 200_000 # tokeni minūtē
# Novērtē savus pieprasījumus
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Tokenu ierobežojums
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Efektīvais ierobežojums = mazākais no abiem
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimāls semafors
avg_duration = 8 # sekundes uz pieprasījumu
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
Šajā piemērā semafors ar vērtību 16 ir teorētiskais maksimums. Praksē izmanto zemāku vērtību (12–14), lai saglabātu drošības rezervi.
Izseko savas izmaksas reāllaikā
Katrā API atbildē ir lauks usage, kas norāda izmaksas:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Patērētie tokeni
usage = response.usage
print(f"Ievades tokeni: {usage.prompt_tokens}")
print(f"Izvades tokeni: {usage.completion_tokens}")
print(f"Kopā: {usage.total_tokens}")
Izmaksām dolāros dažās atbildēs ir pieejams lauks cost_in_usd_ticks. Konversija ir: 10 miljardi ticks = 1 USD.
Tokenizētājs novērtējumam pirms nosūtīšanas
Pirms dārga pieprasījuma nosūtīšanas tu vari novērtēt tokena skaitu, izmantojot tokenizācijas galapunktu:
# Izmantojot REST API
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
Tas ļauj pārliecināties, ka liels uzvednis nepārsniegs tavus TPM ierobežojumus, pirms to nosūti.
Galvenās atziņas
- RPM un TPM ir divi neatkarīgi ierobežojumi: spēkā ir stingrākais no tiem
- Līmeņi automātiski paaugstinās, pieaugot taviem kopējiem izdevumiem, un nekad nesamazinās
- Pārbaudi
console.x.ai, lai uzzinātu precīzus ierobežojumus katram modelim - Pielāgo savu semaforu, balstoties uz minimumu starp RPM un TPM
- Izmanto lauku
usageatbildēs, lai reāllaikā izsekotu patēriņu - Galapunkts
/v1/tokenize-textļauj novērtēt tokenus pirms nosūtīšanas