Ограничения на скоростта на заявките (RPM/TPM) в конзолата
На тази страница
Два показателя за наблюдение
API на xAI прилага два вида ограничения на скоростта, измервани за минута и за модел:
- RPM (Requests Per Minute): Броят на API заявките, които можете да изпратите за минута, независимо от тяхното съдържание.
- TPM (Tokens Per Minute): Общият брой токени (вход + изход), които можете да консумирате за минута.
Можете да достигнете едното ограничение, без да достигнете другото. Например, 10 кратки заявки по 100 токена всяка консумират малко TPM, но се броят като 10 RPM. Обратно, една единствена заявка с 50 000 контекстуални токена консумира много TPM, но само 1 RPM.
Нива на достъп (Tier System)
Ограниченията се коригират автоматично въз основа на вашите кумулативни разходи. Нивото никога не се понижава след отключване:
| Ниво | Праг на разходите | Достъп |
|---|---|---|
| Ниво 0 | $0 (по подразбиране) | Базови ограничения |
| Ниво 1 | $50 разходи | Увеличени ограничения |
| Ниво 2 | $250 разходи | Разширени ограничения |
| Ниво 3 | $1,000 разходи | Високи ограничения |
| Ниво 4 | $5,000 разходи | Премиум ограничения |
| Enterprise | При заявка | Договорени ограничения |
Кумулативните разходи включват цялата история на вашия акаунт. Не е необходимо да харчите 50 щатски долара за един месец: ако харчите по 10 долара на месец в продължение на 5 месеца, ще достигнете Ниво 1.
Проверка на вашите ограничения
Отидете в конзолата на xAI (console.x.ai), за да видите текущите си ограничения за всеки модел. Всеки модел има свои собствени тавани за RPM и TPM. Моделите за разсъждения обикновено имат по-ниски ограничения в сравнение със стандартните модели.
Изчисляване на ефективната ви пропускателна способност
За да оразмерите своя семафор въз основа на ограниченията си:
# Вашите ограничения (пример за Ниво 2)
rpm_limit = 120 # заявки за минута
tpm_limit = 200_000 # токена за минута
# Оценка на вашите заявки
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Ограничение за токени
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Ефективно ограничение = минимумът от двете
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Оптимален семафор
avg_duration = 8 # секунди за заявка
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
В този пример семафор със стойност 16 е теоретичният максимум. На практика използвайте по-ниска стойност (12–14), за да запазите марж на безопасност.
Проследяване на разходите в реално време
Всеки API отговор съдържа поле usage, което показва разхода:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Консумирани токени
usage = response.usage
print(f"Input tokens: {usage.prompt_tokens}")
print(f"Output tokens: {usage.completion_tokens}")
print(f"Total: {usage.total_tokens}")
За разходи в щатски долари, полето cost_in_usd_ticks е налично в някои отговори. Конверсията е: 10 милиарда тикове = 1 USD.
Токенизатор за оценка преди изпращане
Преди да изпратите скъпа заявка, можете да оцените броя на токените чрез крайната точка за токенизация:
# Чрез REST API
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
Това ви позволява да проверите дали голям промпт няма да надвиши вашите TPM ограничения, преди да го изпратите.
Ключови изводи
- RPM и TPM са две независими ограничения: прилага се по-строгото от двете
- Нивата се увеличават автоматично с кумулативните ви разходи и никога не се понижават
- Проверете
console.x.aiза точните си ограничения за всеки модел - Оразмерете семафора си въз основа на минимума между RPM и TPM
- Използвайте полето
usageв отговорите, за да проследявате консумацията в реално време - Крайната точка
/v1/tokenize-textви позволява да оцените токените преди изпращане