Limity częstotliwości wywołań RPM/TPM w konsoli
Na tej stronie
Dwa wskaźniki do monitorowania
API xAI egzekwuje dwa rodzaje limitów częstotliwości wywołań, mierzone w przeliczeniu na minutę i na model:
- RPM (Requests Per Minute): liczba żądań API, które możesz wysłać w ciągu minuty, niezależnie od ich zawartości.
- TPM (Tokens Per Minute): całkowita liczba tokenów (wejście + wyjście), które możesz zużyć w ciągu minuty.
Możesz przekroczyć jeden limit, nie naruszając drugiego. Na przykład 10 krótkich żądań po 100 tokenów każde zużywa mało TPM, ale liczy się jako 10 RPM. Odwrotnie, pojedyncze żądanie z 50 000 tokenów kontekstu zużywa dużo TPM, ale tylko 1 RPM.
System poziomów dostępu
Limity dostosowują się automatycznie w oparciu o Twoje łączne wydatki. Poziom nigdy nie spada po odblokowaniu:
| Poziom | Próg wydatków | Dostęp |
|---|---|---|
| Tier 0 | $0 (domyślnie) | Limity podstawowe |
| Tier 1 | Wydatki $50 | Podwyższone limity |
| Tier 2 | Wydatki $250 | Rozszerzone limity |
| Tier 3 | Wydatki $1,000 | Wysokie limity |
| Tier 4 | Wydatki $5,000 | Limity premium |
| Enterprise | Na życzenie | Limity negocjowane |
Łączne wydatki obejmują całą historię Twojego konta. Nie musisz wydać 50 USD w ciągu jednego miesiąca: jeśli wydajesz 10 USD miesięcznie przez 5 miesięcy, osiągniesz poziom Tier 1.
Sprawdź swoje limity
Przejdź do konsoli xAI (console.x.ai), aby zobaczyć swoje aktualne limity dla każdego modelu. Każdy model ma własne maksymalne wartości RPM i TPM. Modele rozumujące mają zazwyczaj niższe limity niż modele standardowe.
Oblicz swoją efektywną przepustowość
Aby dostosować rozmiar semafora do swoich limitów:
# Twoje limity (przykład Tier 2)
rpm_limit = 120 # żądań na minutę
tpm_limit = 200_000 # tokenów na minutę
# Szacowanie żądań
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens
# Limit tokenów
max_rpm_by_tokens = tpm_limit / tokens_per_request # 200000 / 1500 = 133
# Limit efektywny = minimum z obu wartości
effective_rpm = min(rpm_limit, max_rpm_by_tokens) # min(120, 133) = 120
# Optymalny semafor
avg_duration = 8 # sekund na żądanie
semaphore_value = int(effective_rpm * avg_duration / 60) # 120 * 8 / 60 = 16
W tym przykładzie semafor o wartości 16 jest teoretycznym maksimum. W praktyce użyj niższej wartości (12–14), aby zachować margines bezpieczeństwa.
Śledź koszty w czasie rzeczywistym
Każda odpowiedź API zawiera pole usage, które wskazuje koszt:
response = await client.chat.completions.create(
model="grok-4.5",
messages=[{"role": "user", "content": prompt}]
)
# Zużyte tokeny
usage = response.usage
print(f"Tokeny wejściowe: {usage.prompt_tokens}")
print(f"Tokeny wyjściowe: {usage.completion_tokens}")
print(f"Razem: {usage.total_tokens}")
W przypadku kosztów w dolarach, pole cost_in_usd_ticks jest dostępne w niektórych odpowiedziach. Przelicznik wynosi: 10 miliardów ticków = 1 USD.
Tokenizer do szacowania przed wysłaniem
Przed wysłaniem kosztownego żądania możesz oszacować liczbę tokenów za pomocą punktu końcowego tokenizacji:
# Przez API REST
import httpx
async def count_tokens(text: str) -> int:
async with httpx.AsyncClient() as http:
response = await http.post(
"https://api.x.ai/v1/tokenize-text",
headers={"Authorization": f"Bearer {api_key}"},
json={"text": text}
)
return response.json()["token_count"]
Pozwala to zweryfikować, czy duży prompt nie przekroczy limitów TPM przed jego wysłaniem.
Kluczowe wnioski
- RPM i TPM to dwa niezależne limity: obowiązuje ten bardziej restrykcyjny
- Poziomy rosną automatycznie wraz z Twoimi łącznymi wydatkami i nigdy nie spadają
- Sprawdź
console.x.ai, aby poznać dokładne limity dla każdego modelu - Dobierz rozmiar semafora w oparciu o minimum między RPM a TPM
- Używaj pola
usagew odpowiedziach, aby śledzić zużycie w czasie rzeczywistym - Punkt końcowy
/v1/tokenize-textpozwala oszacować liczbę tokenów przed wysłaniem