Razine i cijene
Na ovoj stranici
Razumijevanje ograničenja i cijena
AI Studio nameće ograničenja stope (rate limits) kako bi održao stabilnost usluge. Ta se ograničenja razlikuju ovisno o razini pretplate i određuju volumen zahtjeva i tokena koje možeš trošiti. Odabir razine nije samo administrativna kvačica: to je odluka koja izravno utječe na tvoje troškove i na ponašanje tvoje aplikacije tijekom vršnih opterećenja.
Dvije vrste ograničenja
Mistral primjenjuje dvije istovremene kontrole na svaki radni prostor. Ako prekršiš bilo koju od njih, tvoji pozivi će propasti. Prva, zahtjeva u sekundi (RPS), ograničava broj API zahtjeva poslanih u sekundi; ako je premašiš, API vraća pogrešku 429 Too Many Requests. Druga se tiče tokena po minuti i po mjesecu: mjeri volumen potrošen za ulazne i izlazne podatke, primjenjuje se na razini radnog prostora i dijele ga svi korisnici s pristupom. Tim od šest programera koji radi na istom ključu troši tu kvotu šest puta brže od samostalnog programera, činjenica koju se sustavno zanemaruje tijekom prvog skoka prometa.
Rješenje zahtijeva samo nekoliko redaka: kada se pojavi 429, pričekaj prije ponovnog pokušaja i povećavaj vrijeme čekanja sa svakim pokušajem umjesto da zasipaš API zahtjevima.
import time
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def call_with_retry(messages, max_retries=3):
"""Basic rate limit handling with exponential backoff."""
for attempt in range(max_retries):
try:
return client.chat.complete(
model="mistral-large-latest",
messages=messages
)
except Exception as e:
if "429" in str(e) and attempt < max_retries - 1:
wait = 2 ** attempt
print(f"Rate limit reached, waiting {wait}s...")
time.sleep(wait)
else:
raise
Razine pretplate
Besplatna API razina, koja se naziva i Experiment, namijenjena je istraživanju. Njezin RPS ostaje nizak, oko nekoliko zahtjeva u sekundi, a mjesečni volumen tokena je ograničen; svi modeli su dostupni, ali sa smanjenim kvotama, bez SLA-a i bez namjenske podrške. Savršeno služi za upoznavanje s Mistral modelima, izradu prototipa aplikacije ili pokretanje funkcionalnih testova – i brzo će te naučiti kako osjećaš 429 ako na njoj pokušaš pokrenuti demonstraciju za klijenta.
Plaćena razina Scale izgrađena je za proizvodnu upotrebu. RPS je viši kako bi apsorbirao stvarni promet, mjesečni volumen tokena je proširen, a naplata se prebacuje na temelju potrošnje iznad pretplate, uz standardnu tehničku podršku. Ovo je očekivana razina za proizvodnu aplikaciju s umjerenim do visokim prometom, za profesionalni razvojni tim i općenito kad god ti je potrebna predvidiva izvedba.
Konačno, razina Enterprise dogovara se pojedinačno s prodajnim timom Mistrala. Otključava personalizirana ograničenja, zajamčeni SLA za dostupnost i latenciju, namjensku podršku s tehničkom kontaktnom osobom, pristup opcijama Dedicated Serverless i Self-Hosted te prilagođene ugovorne uvjete – uključujući Ugovor o obradi podataka (DPA) i usklađenost s GDPR-om. Ovo je obavezno kada tvoji vlastiti klijenti ugovorno zahtijevaju obveze razine usluge od tebe.
Provjera trenutnih ograničenja
Točne vrijednosti koje se primjenjuju na tvoj radni prostor ne nagađaju se: one su navedene u administracijskoj nadzornoj ploči.
https://admin.mistral.ai/plateforme/limits
Ondje ćeš pronaći svoja RPS ograničenja po modelu, potrošnju tokena po minuti i po mjesecu, povijest te potrošnje te upozorenja koja se aktiviraju kako se približavaš pragovima. Učini navikom otvarati ovu stranicu prije bilo kakve najavljene nadogradnje kapaciteta, a ne nakon prvog incidenta.
Optimizacija troškova
Najučinkovitija poluga je odabir modela, jer ne koštaju svi modeli jednako po tokenu. Rezerviraj Mistral Large 3 za složene zadatke – zaključivanje, generiranje dugih tekstova, analizu ugovornih dokumenata – a jednostavnu obradu poput klasifikacije ili ekstrakcije polja dodijeli modelu Mistral Small. Kada je latencija važnija od nijansi odgovora, vrijedi isprobati Ministral 3.
# Simple task → lightweight model
response_simple = client.chat.complete(
model="mistral-small-latest",
messages=[{"role": "user", "content": "Classify this text: positive or negative?"}]
)
# Complex task → powerful model
response_complex = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Analyze this contract and identify problematic clauses."}]
)
Samu potrošnju zatim možeš smanjiti u malim koracima. Sažet sistemski upit (system prompt) štedi tokene pri svakom pozivu, ne samo jednom; max_tokens ograničava duljinu odgovora i izbjegava skupe digresije; streaming ne smanjuje račun, ali značajno poboljšava iskustvo za duge odgovore; konačno, keširanje odgovora na ponavljajuća pitanja na strani aplikacije u potpunosti eliminira poziv.
Naravno, to moraš i mjeriti. Bilježi tokene za svaki poziv: bez ove instrumentacije, troškovno prekoračenje otkrit ćeš tek kada stigne račun.
import logging
logger = logging.getLogger("mistral_usage")
def tracked_call(model, messages):
response = client.chat.complete(model=model, messages=messages)
usage = response.usage
logger.info(
f"Model: {model} | "
f"Input tokens: {usage.prompt_tokens} | "
f"Output tokens: {usage.completion_tokens} | "
f"Total: {usage.total_tokens}"
)
return response
Kada prijeći na višu razinu
Četiri signala trebala bi potaknuti razgovor s Mistralom: ponavljajuće pogreške 429, mjesečna potrošnja koja doseže 80 % kvote, potreba za SLA-om koji ćeš prezentirati svojim klijentima ili obrada osjetljivih podataka koja zahtijeva izolaciju. Prvi od ova četiri signala dovoljan je; ostala tri rijetko dolaze sama.
Ključne točke
- Ograničenja se primjenjuju na razini radnog prostora (RPS + tokeni/minuta/mjesec)
- Besplatna razina dovoljna je za izradu prototipova; razina Scale namijenjena je proizvodnji
- Provjeri svoja točna ograničenja na
admin.mistral.ai/plateforme/limits - Optimiziraj troškove odabirom modela prilagođenog svakom zadatku
- Implementiraj eksponencijalno kašnjenje (exponential backoff) za rukovanje ograničenjima stope u proizvodnji