Tasot ja hinnoittelu
Tällä sivulla
Ymmärrä rajat ja hinnoittelu
AI Studio soveltaa nopeusrajoituksia palvelun vakauden varmistamiseksi. Nämä rajat vaihtelevat tilaustason mukaan ja määrittävät, kuinka monta pyyntöä ja tokenia voit kuluttaa. Tason valinta ei ole pelkkä hallinnollinen ruksi: se on päätös, joka vaikuttaa suoraan kustannuksiisi ja sovelluksesi toimintaan ruuhka-aikoina.
Kahdenlaiset rajat
Mistral soveltaa jokaiseen työtilaan kahta samanaikaista rajoitusta. Kummankin ylittäminen aiheuttaa kutsujen epäonnistumisen. Ensimmäinen, pyynnöt sekunnissa (RPS), rajoittaa lähetettyjen API-pyyntöjen määrää sekunnissa; sen ylittäminen johtaa virhekoodiin 429 Too Many Requests. Toinen rajoitus koskee tokeneita minuuttia ja kuukautta kohti: se mittaa sekä syötteen että tulosteen kulutusta, soveltuu työtilatasolla ja on yhteinen kaikille käyttäjille, joilla on pääsy. Kuuden kehittäjän tiimi, joka työskentelee samalla avaimella, kuluttaa tätä kiintiötä kuusi kertaa nopeammin kuin yksin työskentelevä kehittäjä – seikka, joka unohdetaan systemaattisesti ensimmäisen liikennepiikin aikana.
Korjaus vaatii vain muutaman koodirivin: kun vastaanotat virheen 429, odota ennen uudelleenyritystä ja kasvata odotusaikaa jokaisella yrityksellä API:n pommittamisen sijaan.
import time
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def call_with_retry(messages, max_retries=3):
"""Basic rate limit handling with exponential backoff."""
for attempt in range(max_retries):
try:
return client.chat.complete(
model="mistral-large-latest",
messages=messages
)
except Exception as e:
if "429" in str(e) and attempt < max_retries - 1:
wait = 2 ** attempt
print(f"Rate limit reached, waiting {wait}s...")
time.sleep(wait)
else:
raise
Tilaustasot
Ilmainen API-taso, jota kutsutaan myös kokeilutasoksi, on suunniteltu tutkimuskäyttöön. Sen RPS pysyy alhaisena, muutamassa pyynnössä sekunnissa, ja kuukausittainen token-määrä on rajoitettu. Kaikki mallit ovat saatavilla, mutta kiintiöt ovat pienemmät, SLA-takuita ei ole eikä tarjolla ole omistettua tukea. Se sopii erinomaisesti Mistral-mallien tutkimiseen, sovelluksen prototyyppaukseen tai toiminnallisiin testeihin – ja se opettaa sinulle nopeasti, miltä virhe 429 tuntuu, jos yrität ajaa sillä asiakasesittelyä.
Maksullinen Scale-taso on rakennettu tuotantokäyttöön. RPS on korkeampi todellisen liikenteen kestämiseksi, kuukausittainen token-määrä on laajennettu, ja laskutus siirtyy tilauksen ylittävältä osalta käyttöperusteiseksi vakiotuen kera. Tämä on odotettu taso tuotantosovellukselle, jossa on kohtalainen tai suuri liikenne, ammattimaiselle kehitystiimille ja yleensä aina, kun tarvitset ennustettavan suorituskyvyn.
Lopuksi Enterprise-taso neuvotellaan räätälöidysti Mistralin myyntitiimin kanssa. Se avaa henkilökohtaiset rajat, taatun SLA:n saatavuudelle ja viiveelle, omistetun tuen teknisellä yhteyshenkilöllä, pääsyn Dedicated Serverless- ja Self-Hosted-vaihtoehtoihin sekä räätälöidyt sopimusehdot, mukaan lukien tietojenkäsittelysopimus (DPA) ja GDPR-vaatimustenmukaisuus. Tämä on pakollinen, kun omat asiakkaasi vaativat sinulta sopimuksellisia palvelusitoumuksia.
Tarkista nykyiset rajasi
Työtilaasi sovellettavat tarkat arvot eivät ole arvailujen varassa: ne on lueteltu hallintapaneelissa.
https://admin.mistral.ai/plateforme/limits
Sieltä löydät RPS-rajoituksesi mallikohtaisesti, token-kulutuksesi minuuttia ja kuukautta kohti, kulutushistorian sekä hälytykset, jotka laukeavat lähestyessäsi kynnysarvoja. Tee tavaksi avata tämä sivu ennen kuin suunnittelet skaalausta, äläkä vasta ensimmäisen häiriön jälkeen.
Optimoi kustannuksiasi
Tehokkain vipu on mallin valinta, sillä kaikkien mallien hinta tokenia kohti ei ole sama. Varaa Mistral Large 3 monimutkaisiin tehtäviin – päättelyyn, pitkän tekstin tuottamiseen, sopimusasiakirjojen analysointiin – ja osoita yksinkertaiset käsittelytehtävät, kuten luokittelu tai kenttien poiminta, mallille Mistral Small. Kun viive on tärkeämpää kuin vastauksen hienosäätö, Ministral 3 on kokeilemisen arvoinen.
# Simple task → lightweight model
response_simple = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": "Classify this text: positive or negative?"}]
)
# Complex task → powerful model
response_complex = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Analyze this contract and identify problematic clauses."}]
)
Itse kulutusta voidaan sitten vähentää pienin askelin. Tiivis järjestelmäkehote säästää tokeneita jokaisessa kutsussa, ei vain kerran; max_tokens rajoittaa vastauksen pituutta ja estää kalliit harhailemiset; suoratoisto ei pienennä laskua, mutta parantaa merkittävästi kokemusta pitkissä vastauksissa; lopuksi toistuviin kysymyksiin annettujen vastausten välimuistitus sovelluksen puolella poistaa kutsun kokonaan.
Tietenkin sinun on mitattava tämä. Lokita tokenit jokaisesta kutsusta: ilman tätä instrumentointia huomaat kustannusten ylityksen vasta, kun lasku saapuu.
import logging
logger = logging.getLogger("mistral_usage")
def tracked_call(model, messages):
response = client.chat.complete(model=model, messages=messages)
usage = response.usage
logger.info(
f"Model: {model} | "
f"Input tokens: {usage.prompt_tokens} | "
f"Output tokens: {usage.completion_tokens} | "
f"Total: {usage.total_tokens}"
)
return response
Milloin siirtyä ylempään tasoon
Neljän signaalin pitäisi laukaista keskustelu Mistralin kanssa: toistuvat 429-virheet, kuukausikulutuksen saavuttaminen 80 prosenttiin kiintiöstä, SLA-tarve omille asiakkaillesi esitettäväksi tai arkaluonteisten tietojen käsittely, joka vaatii eristämistä. Ensimmäinen näistä neljästä riittää; muut kolme saapuvat harvoin yksinään.
Keskeiset asiat
- Rajat sovelletaan työtilatasolla (RPS + tokenit/minuutti/kuukausi)
- Ilmainen taso riittää prototyyppaukseen; Scale-taso on tarkoitettu tuotantoon
- Tarkista tarkat rajasi osoitteessa
admin.mistral.ai/plateforme/limits - Optimoi kustannuksia valitsemalla kuhunkin tehtävään sopiva malli
- Toteuta eksponentiaalinen odotus nopeusrajoitusten käsittelyyn tuotannossa