Ravni in cenik
Na tej strani
Razumevanje omejitev in cen
AI Studio uveljavlja omejitve hitrosti, da bi ohranil stabilnost storitve. Te omejitve se razlikujejo glede na naročniško raven in določajo količino zahtevkov ter žetonov, ki jih lahko porabite. Izbira ravni ni le administrativna formalnost: gre za odločitev, ki neposredno vpliva na vaše stroške in obnašanje vaše aplikacije v konicah prometa.
Dve vrsti omejitev
Mistral uporablja dva hkratna nadzorna mehanizma za vsak delovni prostor. Če presežete katerega koli od njiju, vaši klici ne uspejo. Prvi, zahtevki na sekundo (RPS), omejuje število zahtevkov API, poslaných na sekundo; če ga presežete, API vrne napako 429 Too Many Requests. Drugi se nanaša na žetone na minuto in na mesec: meri porabljeni volumen tako za vhodne kot izhodne podatke, velja na ravni delovnega prostora in se deli med vse uporabnike z dostopom. Ekipa šestih razvijalcev, ki dela z istim ključem, porabi to kvoto šestkrat hitreje kot samostojni razvijalec, kar dejstvo se ob prvem valu prometa sistematično spregleda.
Rešitev zahteva le nekaj vrstic kode: ko pride do napake 429, počakajte pred ponovnim poskusom in z vsakim poskusom podaljšajte čas čakanja, namesto da bi neprestano obremenjevali API.
import time
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def call_with_retry(messages, max_retries=3):
"""Basic rate limit handling with exponential backoff."""
for attempt in range(max_retries):
try:
return client.chat.complete(
model="mistral-large-latest",
messages=messages
)
except Exception as e:
if "429" in str(e) and attempt < max_retries - 1:
wait = 2 ** attempt
print(f"Rate limit reached, waiting {wait}s...")
time.sleep(wait)
else:
raise
Naročniške ravni
Brezplačna raven API, imenovana tudi Experiment, je namenjena raziskovanju. Njen RPS ostaja nizek, okoli nekaj zahtevkov na sekundo, mesečni volumen žetonov pa je omejen; vsi modeli so dostopni, vendar z zmanjšanimi kvotami, brez SLA in brez namenske podpore. Odlično deluje za spoznavanje modelov Mistral, izdelavo prototipov aplikacij ali izvajanje funkcionalnih testov – in hitro vam bo pokazala, kako je videti napaka 429, če boste na njej poskušali izvesti demonstracijo za stranko.
Plačljiva raven Scale je zasnovana za proizvodno okolje. RPS je višji, da prenese realni promet, mesečni volumen žetonov je razširjen, obračunavanje pa se po vključenem naročninskem paketu preklopi na plačilo glede na porabo, s standardno tehnično podporo. To je pričakovana raven za proizvodno aplikacijo z zmernim do visokim prometom, za profesionalno razvijalsko ekipo in na splošno kadar koli potrebujete predvidljivo zmogljivost.
Končno se raven Enterprise dogovori posebej s prodajno ekipo Mistral. Odklene prilagojene omejitve, zajamčen SLA za razpoložljivost in zakasnitev, namensko podporo s tehničnim kontaktnim osebjem, dostop do možnosti Dedicated Serverless in Self-Hosted ter prilagojene pogodbene pogoje – vključno s pogodbo o obdelavi podatkov (DPA) in skladnostjo z GDPR. To je obvezno, kadar vaše stranke pogodbeno zahtevajo storitvene zaveze od vas.
Preverite svoje trenutne omejitve
Točne vrednosti, ki veljajo za vaš delovni prostor, niso ugibanje: navedene so v nadzorni plošči skrbnika.
https://admin.mistral.ai/plateforme/limits
Tam boste našli svoje omejitve RPS na model, porabo žetonov na minuto in na mesec, zgodovino te porabe ter opozorila, ki se sprožijo, ko se približujete pragovom. Navadite se odpirati to stran pred vsako napovedano razširitvijo zmogljivosti, in ne šele po prvem incidentu.
Optimizacija stroškov
Najučinkovitejša vzvod je izbira modela, saj vsi modeli nimajo enake cene na žeton. Mistral Large 3 rezervirajte za kompleksne naloge – sklepanje, generiranje dolgih besedil, analizo pogodbenih dokumentov – preproste obdelave, kot sta razvrščanje ali ekstrakcija polj, pa dodelite modelu Mistral Small. Ko je zakasnitev pomembnejša od niansiranosti odgovora, je vredno preizkusiti Ministral 3.
# Simple task → lightweight model
response_simple = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": "Classify this text: positive or negative?"}]
)
# Complex task → powerful model
response_complex = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Analyze this contract and identify problematic clauses."}]
)
Samo porabo lahko nato zmanjšate v majhnih korakih. Jedrnat sistemski poziv prihrani žetone pri vsakem klicu, ne le enkrat; max_tokens omeji dolžino odgovora in prepreči drage odklone; pretakanje (streaming) ne zniža računa, a bistveno izboljša uporabniško izkušnjo pri dolgih odgovorih; končno pa predpomnenje odgovorov na ponavljajoča se vprašanja na strani aplikacije klic popolnoma odpravi.
Seveda to morate tudi meriti. Zabeležite žetone za vsak klic: brez te instrumentacije boste presežek stroškov odkrili šele, ko prispe račun.
import logging
logger = logging.getLogger("mistral_usage")
def tracked_call(model, messages):
response = client.chat.complete(model=model, messages=messages)
usage = response.usage
logger.info(
f"Model: {model} | "
f"Input tokens: {usage.prompt_tokens} | "
f"Output tokens: {usage.completion_tokens} | "
f"Total: {usage.total_tokens}"
)
return response
Kdaj preiti na višjo raven
Štirje signali bi morali sprožiti pogovor z Mistralom: ponavljajoče se napake 429, mesečna poraba, ki doseže 80 % kvote, potreba po SLA za predstavitve vašim strankam ali obdelava občutljivih podatkov, ki zahteva izolacijo. Prvi od teh štirih je že dovolj; ostali trije redko pridejo sami.
Ključne ugotovitve
- Omejitve veljajo na ravni delovnega prostora (RPS + žetoni/minuto/mesec)
- Brezplačna raven zadostuje za prototipiranje; raven Scale je za proizvodno okolje
- Točne omejitve preverite na
admin.mistral.ai/plateforme/limits - Stroške optimizirajte z izbiro modela, primernega za vsako nalogo
- V proizvodnem okolju za obravnavo omejitev hitrosti implementirajte eksponentno zamudo