Tasemed ja hinnakujundus
Sellel lehel
Mõista piiranguid ja hinnakujundust
AI Studio rakendab teenuse stabiilsuse tagamiseks kiirusepiiranguid. Need piirangud varieeruvad tellimistasemeti ja määravad ära taotluste ning tokenite mahu, mida saad tarbida. Taseme valik ei ole pelgalt administratiivne linnuke: see on otsus, mis mõjutab otseselt nii sinu kulusid kui ka seda, kuidas sinu rakendus käitub tipptundidel.
Kahte tüüpi piirangud
Mistral rakendab igas tööruumis kahte samaaegset kontrolli. Kumma tahes ületamine põhjustab sinu päringute ebaõnnestumise. Esimene, taotlused sekundis (RPS), seab ülempiiri API-le saadetavate taotluste arvule sekundis; selle ületamisel tagastab API vea 429 Too Many Requests. Teine puudutab tokeneid minutis ja kuus: see mõõdab nii sisendi kui väljundi mahtu, kehtib tööruumi tasandil ja on jagatud kõigi juurdepääsuga kasutajate vahel. Kuuest arendajast koosnev meeskond, kes töötab sama võtmega, kulutab seda kvooti kuus korda kiiremini kui üksikarendaja – fakt, mida esimese liiklusspiki ajal süstemaatiliselt eiratakse.
Lahendus võtab vaid mõned koodiread: kui tekib 429, oota enne uuesti proovimist ja suurenda ooteaega iga katsega, selle asemel et API-d pommitada.
import time
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def call_with_retry(messages, max_retries=3):
"""Basic rate limit handling with exponential backoff."""
for attempt in range(max_retries):
try:
return client.chat.complete(
model="mistral-large-latest",
messages=messages
)
except Exception as e:
if "429" in str(e) and attempt < max_retries - 1:
wait = 2 ** attempt
print(f"Rate limit reached, waiting {wait}s...")
time.sleep(wait)
else:
raise
Tellimistasemed
Tasuta API tase, mida nimetatakse ka Experiment, on loodud uurimistööks. Selle RPS jääb madalaks, umbes mõni taotlus sekundis, ja kuu tokenite maht on piiratud; kõik mudelid on kättesaadavad, kuid vähendatud kvootidega, ilma SLA-ta ja ilma spetsiaalse toeta. See sobib suurepäraselt Mistrali mudelite avastamiseks, rakenduse prototüüpimiseks või funktsionaalsete testide läbiviimiseks – ja see õpetab sulle kiiresti, mida tähendab 429, kui püüad sellega kliendile demo teha.
Tasuline Scale tase on loodud tootmiskeskkonnaks. RPS on kõrgem, et taluda reaalset liiklust, kuu tokenite maht on suurendatud ja arveldus läheb pärast tellimust üle kasutuspõhisele, koos standardse tehnilise toega. See on oodatav tase tootmisrakendusele mõõduka kuni suure liiklusega, professionaalsele arendusmeeskonnale ja üldiselt igal juhul, kui vajad ennustatavat jõudlust.
Lõpuks, Enterprise tase lepitakse kokku individuaalselt Mistrali müügimeeskonnaga. See avab personaliseeritud piirangud, garanteeritud SLA kättesaadavuse ja latentsuse osas, pühendatud toe tehnilise kontaktpersonaga, juurdepääsu Dedicated Serverless ja Self-Hosted valikutele ning kohandatud lepingutingimused – sealhulgas andmetöötluslepingu (DPA) ja GDPR-i nõuetele vastavuse. See on kohustuslik, kui sinu enda kliendid nõuavad lepinguliselt sinult teenusekohustusi.
Kontrolli oma praeguseid piiranguid
Sinu tööruumi kehtivad täpsed väärtused ei ole arvatavad: need on loetletud administraatori armatuurlaual.
https://admin.mistral.ai/plateforme/limits
Sealt leiad oma RPS-piirangud mudeli kohta, tokenite tarbimise minutis ja kuus, selle tarbimise ajaloo ja hoiatused, mis käivituvad lävendite lähenemisel. Tee endale harjumuseks avada see leht enne iga planeeritud skaalamist, mitte pärast esimest intsidenti.
Optimeeri oma kulusid
Kõige tõhusam hoob on mudeli valik, kuna mitte kõik mudelid ei maksa tokeni kohta sama palju. Reserveeri Mistral Large 3 keerukate ülesannete jaoks – arutluskäik, pika vormingu genereerimine, lepingudokumentide analüüs – ja määra lihtsad töötlemised, nagu klassifitseerimine või väljade eraldamine, Mistral Smallile. Kui latentsus on olulisem kui vastuse nüanss, tasub testida Ministral 3.
# Simple task → lightweight model
response_simple = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": "Classify this text: positive or negative?"}]
)
# Complex task → powerful model
response_complex = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Analyze this contract and identify problematic clauses."}]
)
Tarbimist saab seejärel vähendada väikeste sammudega. Kokkuvõtlik süsteemne viip säästab tokeneid igal väljakutsel, mitte ainult üks kord; max_tokens piirab vastuse pikkust ja hoiab ära kulukad kõrvalekalded; voogedastus ei vähenda arvet, kuid parandab oluliselt kasutajakogemust pikkade vastuste korral; lõpuks elimineerib korduvatele küsimustele vastuste vahemällu salvestamine rakenduse poolel väljakutse täielikult.
Muidugi pead seda mõõtma. Logi iga väljakutse tokenid: ilma selle instrumenteerimiseta avastad kulude ületamise alles siis, kui arve saabub.
import logging
logger = logging.getLogger("mistral_usage")
def tracked_call(model, messages):
response = client.chat.complete(model=model, messages=messages)
usage = response.usage
logger.info(
f"Model: {model} | "
f"Input tokens: {usage.prompt_tokens} | "
f"Output tokens: {usage.completion_tokens} | "
f"Total: {usage.total_tokens}"
)
return response
Millal tasemele üle minna
Neli signaali peaksid käivitama vestluse Mistraliga: korduvad 429 vead, kuu tarbimise jõudmine 80%-ni kvoodist, vajadus esitada oma klientidele SLA või tundlike andmete töötlemine, mis nõuab isolatsiooni. Esimene neist neljast piisab; ülejäänud kolm saabuvad harva üksinda.
Peamised punktid
- Piirangud kehtivad tööruumi tasandil (RPS + tokenid/minutis/kuus)
- Tasuta tase sobib prototüüpimiseks; Scale tase on mõeldud tootmiskeskkonnale
- Kontrolli oma täpseid piiranguid aadressil
admin.mistral.ai/plateforme/limits - Optimeeri kulusid, valides iga ülesande jaoks sobiva mudeli
- Rakenda eksponentsiaalset tagasiminekut, et hallata kiirusepiiranguid tootmiskeskkonnas