Konsolės RPM/TPM greičio apribojimai
Šiame puslapyje
Du stebimi rodikliai
xAI API taiko dviejų tipų greičio apribojimus, matuojamus per minutę ir vienam modeliui:
- RPM (užklausų skaičius per minutę): API užklausų, kurias gali siųsti per minutę, skaičius, nepriklausomai nuo jų turinio.
- TPM (tokenų skaičius per minutę): Bendras tokenų kiekis (įvestis + išvestis), kurį gali sunaudoti per minutę.
Gali pasiekti vieną ribą nepasiekęs kitos. Pavyzdžiui, 10 trumpų užklausų po 100 tokenų suvartoja mažai TPM, tačiau įskaičiuojamos kaip 10 RPM. Atvirkščiai, viena užklausa su 50 000 konteksto tokenų suvartoja daug TPM, bet tik 1 RPM.
Lygių sistema
Apribojimai automatiškai koreguojami pagal tavo sukauptas išlaidas. Pasiekus lygį, jis niekada nemažėja:
| Lygis | Išlaidų riba | Prieiga |
|---|---|---|
| 0 lygis | 0 $ (numatytasis) | Baziniai apribojimai |
| 1 lygis | 50 $ išlaidos | Padidinti apribojimai |
| 2 lygis | 250 $ išlaidos | Išplėsti apribojimai |
| 3 lygis | 1 000 $ išlaidos | Dideli apribojimai |
| 4 lygis | 5 000 $ išlaidos | Premium apribojimai |
| Įmonės | Pagal užklausą | Derinami apribojimai |
Sukauptos išlaidos apima visą tavo paskyros istoriją. Nereikia išleisti 50 $ per vieną mėnesį: jei išleidi po 10 $ per mėnesį 5 mėnesius, pasieksi 1 lygį.
Patikrink savo apribojimus
Eik į xAI konsolę (console.x.ai), kad pamatytum dabartinius apribojimus kiekvienam modeliui. Kiekvienas modelis turi savo RPM ir TPM ribas. Samprotavimo modeliai paprastai turi mažesnius apribojimus nei standartiniai modeliai.
Apskaičiuok savo efektyvųjį pralaidumą
Norėdamas nustatyti savo semaforo dydį pagal savo apribojimus:
# Tavo apribojimai (pvz., 2 lygis)
rpm_limit = 120 # užklausos per minutę
tpm_limit = 200_000 # tokenai per minutę
# Įvertink savo užklausas
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Tokenų riba
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Efektyvi riba = mažiausia iš dviejų
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optimalus semaforas
avg_duration = 8 # sekundžių vienai užklausai
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
Šiame pavyzdyje 16 semaforo reikšmė yra teorinis maksimumas. Praktiškai naudok mažesnę reikšmę (12–14), kad išliktų saugumo riba.
Stebėk savo išlaidas realiuoju laiku
Kiekviename API atsakyme yra laukas usage, nurodantis kainą:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Sunaudoti tokenai
usage = response.usage
print(f"Įvesties tokenai: {usage.prompt_tokens}")
print(f"Išvesties tokenai: {usage.completion_tokens}")
print(f"Iš viso: {usage.total_tokens}")
Kainoms doleriais gauti, kai kuriuose atsakymuose pateikiamas laukas cost_in_usd_ticks. Konversija: 10 milijardų „ticks“ = 1 USD.
Tokenizatorius įvertinimui prieš siunčiant
Prieš siųsdamas brangią užklausą, gali įvertinti tokenų skaičių naudodamas tokenizavimo galutinį tašką:
# Per REST API
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
Tai leidžia patikrinti, ar didelis promptas neviršys tavo TPM apribojimų prieš jį išsiunčiant.
Svarbiausi punktai
- RPM ir TPM yra du nepriklausomi apribojimai: taikomas griežtesnis iš jų
- Lygiai didėja automatiškai pagal tavo sukauptas išlaidas ir niekada nemažėja
- Patikrink
console.x.ai, kad sužinotum tikslius apribojimus kiekvienam modeliui - Nustatyk semaforo dydį pagal mažiausią reikšmę tarp RPM ir TPM
- Naudok lauką
usageatsakymuose, kad stebėtum suvartojimą realiuoju laiku - Galutinis taškas
/v1/tokenize-textleidžia įvertinti tokenus prieš siunčiant