Osnovni parametri
Na tej strani
Konfiguracija klicev API-ja
Poleg obveznih polj model in messages API za dopolnjevanje pogovorov (Chat Completions API) sprejme še nekaj parametrov, ki nadzorujejo obnašanje generiranja. Prav te nastavitve ločijo ekstraktor podatkov, ki za isti račun vrne identične rezultate, od generatorja sloganov, ki se nikoli ne ponovi. Koda, ki kliče API, ostane od primera do primera nespremenjena; spreminjajo se le nastavitve, zato moraš natančno razumeti delovanje vsakega parametra.
Tukaj so parametri, s katerimi boš delal vsak dan, skupaj z njihovimi tipi in privzetimi vrednostmi.
| Parameter | Type | Default | Description |
|---|---|---|---|
model | string | — | Identifikator modela (obvezno) |
messages | array | — | Polje sporočil (obvezno) |
max_tokens | integer | variable | Največje število izhodnih žetonov |
temperature | float | 0.7 | Nadzor ustvarjalnosti (0.0 do 1.5) |
top_p | float | 1.0 | Jedrsko vzorčenje (0.0 do 1.0) |
stream | boolean | false | Omogoča pretakanje SSE |
safe_prompt | boolean | false | Omogoča varnostne omejitve |
Parameter model
Tvoja izbira modela takoj določi zmogljivosti, hitrost in stroške vsakega klica – to so trije kompromisi, ki jih drugje ne moreš povrniti. Od aprila 2026 so glavni modeli:
# Vodilni model — kompleksno sklepanje, večjezičnost
model = "mistral-large-latest"
# Kompaktni model — hiter, ekonomičen, idealen za produkcijo
model = "mistral-small-latest"
# Miniaturni model — izjemno hiter, robno računanje
model = "ministral-3b-latest"
# Model za kodo — specializiran za programiranje
model = "codestral-latest"
Priponka -latest je med razvojem priročna: vedno kaže na najnovejšo različico, ne da bi bilo treba spreminjati kodo. V produkcijskem okolju pa ta priročnost postane tveganje, saj lahko posodobitev na strani Mistrala subtilno spremeni obnašanje tvoje aplikacije. Za zagotovitev ponovljivosti testov raje uporabi oštevilčene identifikatorje, kot je mistral-large-2512.
Parameter max_tokens
Ta parameter določa zgornjo mejo števila žetonov, ki jih model lahko generira v svojem odgovoru. Modela ne prisili, da ustvari točno toliko žetonov; določa le strop, nič več.
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Summarize this text in one sentence."}],
max_tokens=100 # Odgovor ne bo presegel 100 žetonov
)
Če model doseže to mejo, se odgovor nenadoma prekine in finish_reason vrne "length" namesto "stop". To je najpogostejši vzrok za odgovore, ki se ustavijo sredi stavka, kar nihče ne opazi, dokler ne začne spremljati tega polja. Pravi refleks je prilagoditi strop nalogi: klasifikacija se prilega v 10 do 50 žetonov, saj pričakuješ le oznako, povzetek potrebuje 200 do 500 žetonov, prosto besedilo zahteva 1.000 do 4.000, generiranje kode pa zlahka doseže 2.000 ali 8.000 žetonov, ker je celotna datoteka dolga.
Parameter temperature
Temperatura nadzoruje stopnjo naključnosti pri izbiri žetonov. Nižja kot je vrednost, bolj determinističen in predvidljiv postane model; višja kot je, bolj se loteva malo verjetnih nadaljevanj. Za dejanska vprašanja želiš prvi pristop, za naloge poimenovanja pa drugega.
# Nizka temperatura — ekstrakcija, klasifikacija, dejstva
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the capital of France?"}],
temperature=0.1
)
# Visoka temperatura — ustvarjalnost, nevihta možganov
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Invent a name for an AI startup."}],
temperature=1.2
)
Razpon sega od 0.0 do 1.5. Ne zanašaj se na temperature=0 za popoln determinizem: zaradi zaokroževanja plavajoče vejice na ravni strojne opreme ostajajo rahla odstopanja.
Parameter top_p
Jedrsko vzorčenje ali Top P deluje na isto ročico, vendar po drugi poti: omejuje kandidate za žetone s pragom kumulativne verjetnosti. Pri top_p=0.5 ostanejo v izboru le najbolj verjetni žetoni, katerih seštevek verjetnosti doseže 50 %; ostali so takoj zavrnjeni.
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Complete: The cat is on the..."}],
temperature=0.7,
top_p=0.9 # Upošteva žetone, ki pokrivajo 90 % verjetnosti
)
Mistral priporoča prilagajanje le enega parametra naenkrat, bodisi temperature bodisi top_p, nikoli obeh hkrati. Razlog je praktičen: če izhod postane čuden po premiku obeh drsnikov, nič ne pove, kateri je povzročil težavo, in izgubiš tako možnost razhroščevanja kot ponovljivost.
Celoten primer z vsemi parametri
V enem samem klicu te nastavitve ustvarijo generator sloganov, ki je namerno kratek in nekoliko drzen, hkrati pa sledi porabi žetonov:
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{
"role": "system",
"content": "You are a concise and punchy marketing writer."
},
{
"role": "user",
"content": "Write a slogan for a meditation app."
}
],
max_tokens=50,
temperature=0.9,
top_p=1.0
)
print(response.choices[0].message.content)
print(f"Tokens used: {response.usage.total_tokens}")
Zaženi ta skript trikrat zapored, nato zamenjaj temperature=0.9 z 0.1 in ga zaženi še trikrat. Razlika med obema serijama te bo o tem parametru naučila več kot katera koli definicija.
Ključne ugotovitve
modelinmessagessta edina obvezna parametramax_tokensje strop, ne cilj – za odkrivanje obrezovanja preverifinish_reason- Za dejanske naloge uporabi nizko
temperature, za ustvarjalnost visoko top_pizpopolni porazdelitev žetonov – ne prilagajaj ga hkrati stemperature- V produkciji za ponovljivost uporabi oštevilčene identifikatorje modelov