Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Konsolės RPM/TPM greičio apribojimai

Paskaita 7 iš 12 Atnaujinta 2026 m. liepos 30 d. Pažengusiems
Šiame puslapyje
  1. Du stebimi rodikliai
  2. Lygių sistema
  3. Patikrink savo apribojimus
  4. Apskaičiuok savo efektyvųjį pralaidumą
  5. Stebėk savo išlaidas realiuoju laiku
  6. Tokenizatorius įvertinimui prieš siunčiant
  7. Svarbiausi punktai

Du stebimi rodikliai

xAI API taiko dviejų tipų greičio apribojimus, matuojamus per minutę ir vienam modeliui:

  • RPM (užklausų skaičius per minutę): API užklausų, kurias gali siųsti per minutę, skaičius, nepriklausomai nuo jų turinio.
  • TPM (tokenų skaičius per minutę): Bendras tokenų kiekis (įvestis + išvestis), kurį gali sunaudoti per minutę.

Gali pasiekti vieną ribą nepasiekęs kitos. Pavyzdžiui, 10 trumpų užklausų po 100 tokenų suvartoja mažai TPM, tačiau įskaičiuojamos kaip 10 RPM. Atvirkščiai, viena užklausa su 50 000 konteksto tokenų suvartoja daug TPM, bet tik 1 RPM.

Lygių sistema

Apribojimai automatiškai koreguojami pagal tavo sukauptas išlaidas. Pasiekus lygį, jis niekada nemažėja:

Lygis Išlaidų riba Prieiga
0 lygis 0 $ (numatytasis) Baziniai apribojimai
1 lygis 50 $ išlaidos Padidinti apribojimai
2 lygis 250 $ išlaidos Išplėsti apribojimai
3 lygis 1 000 $ išlaidos Dideli apribojimai
4 lygis 5 000 $ išlaidos Premium apribojimai
Įmonės Pagal užklausą Derinami apribojimai

Sukauptos išlaidos apima visą tavo paskyros istoriją. Nereikia išleisti 50 $ per vieną mėnesį: jei išleidi po 10 $ per mėnesį 5 mėnesius, pasieksi 1 lygį.

Patikrink savo apribojimus

Eik į xAI konsolę (console.x.ai), kad pamatytum dabartinius apribojimus kiekvienam modeliui. Kiekvienas modelis turi savo RPM ir TPM ribas. Samprotavimo modeliai paprastai turi mažesnius apribojimus nei standartiniai modeliai.

Apskaičiuok savo efektyvųjį pralaidumą

Norėdamas nustatyti savo semaforo dydį pagal savo apribojimus:

# Tavo apribojimai (pvz., 2 lygis)
rpm_limit = 120   # užklausos per minutę
tpm_limit = 200_000  # tokenai per minutę

# Įvertink savo užklausas
avg_input_tokens = 500
avg_output_tokens = 1000
tokens_per_request = avg_input_tokens + avg_output_tokens

# Tokenų riba
max_rpm_by_tokens = tpm_limit / tokens_per_request  # 200000 / 1500 = 133

# Efektyvi riba = mažiausia iš dviejų
effective_rpm = min(rpm_limit, max_rpm_by_tokens)  # min(120, 133) = 120

# Optimalus semaforas
avg_duration = 8  # sekundžių vienai užklausai
semaphore_value = int(effective_rpm * avg_duration / 60)  # 120 * 8 / 60 = 16

Šiame pavyzdyje 16 semaforo reikšmė yra teorinis maksimumas. Praktiškai naudok mažesnę reikšmę (12–14), kad išliktų saugumo riba.

Stebėk savo išlaidas realiuoju laiku

Kiekviename API atsakyme yra laukas usage, nurodantis kainą:

response = await client.chat.completions.create(
    model="grok-4.5",
    messages=[{"role": "user", "content": prompt}]
)

# Sunaudoti tokenai
usage = response.usage
print(f"Įvesties tokenai: {usage.prompt_tokens}")
print(f"Išvesties tokenai: {usage.completion_tokens}")
print(f"Iš viso: {usage.total_tokens}")

Kainoms doleriais gauti, kai kuriuose atsakymuose pateikiamas laukas cost_in_usd_ticks. Konversija: 10 milijardų „ticks“ = 1 USD.

Tokenizatorius įvertinimui prieš siunčiant

Prieš siųsdamas brangią užklausą, gali įvertinti tokenų skaičių naudodamas tokenizavimo galutinį tašką:

# Per REST API
import httpx

async def count_tokens(text: str) -> int:
    async with httpx.AsyncClient() as http:
        response = await http.post(
            "https://api.x.ai/v1/tokenize-text",
            headers={"Authorization": f"Bearer {api_key}"},
            json={"text": text}
        )
        return response.json()["token_count"]

Tai leidžia patikrinti, ar didelis promptas neviršys tavo TPM apribojimų prieš jį išsiunčiant.

Svarbiausi punktai

  • RPM ir TPM yra du nepriklausomi apribojimai: taikomas griežtesnis iš jų
  • Lygiai didėja automatiškai pagal tavo sukauptas išlaidas ir niekada nemažėja
  • Patikrink console.x.ai, kad sužinotum tikslius apribojimus kiekvienam modeliui
  • Nustatyk semaforo dydį pagal mažiausią reikšmę tarp RPM ir TPM
  • Naudok lauką usage atsakymuose, kad stebėtum suvartojimą realiuoju laiku
  • Galutinis taškas /v1/tokenize-text leidžia įvertinti tokenus prieš siunčiant