Oikean päättelytason valinta
Tällä sivulla
Oppitunti kirjoitettu uudelleen 2. marraskuuta 2026. Aiemmin siinä verrattiin Mistral Smallin “säädettävää” päättelyä Magistralin “natiiviin” päättelyyn, mutta Magistral poistettiin käytöstä 31. heinäkuuta 2026. Valinta tehdään nyt yleiskäyttöisten mallien ja
reasoning_effort-tasojen välillä. Lähteet: Reasoning · Small 4 ja Large 4 -mallikortit.
Kaksi säädintä mallivalikoiman sijaan
Päättelymallin valinta Mistralilla tarkoitti aiemmin kahden erillisen malliston välillä valitsemista. Nykyään se tarkoittaa kahden säätimen säätämistä: malli (Small 4 useimpiin tehtäviin, Large 4 vaikeimpiin tapauksiin) ja päättelytaso (none tai high Small 4:ssä; low, medium tai high Large 4:ssä). Yksi sovellus voi ja usein kannattaakin käyttää useita yhdistelmiä.
Päätösmatriisi
| Tilanne | Aloitusasetus | Miksi |
|---|---|---|
| Faktakysymys, uudelleenmuotoilu, tiedonpoiminta | Small 4, none | Ei pohdittavaa: päättely vain lisäisi viivettä ja token-kulutusta |
| Monivaiheinen laskenta, rutiininomainen vianetsintä, yksinkertainen vertailu | Small 4, high | Päättely korjaa ketjutusvirheet kohtuullisella kustannuksella |
| Tiivistäminen tai uudelleenmuotoilu Large 4:llä | Large 4, low | Large 4 ei hyväksy arvoa none; low on sen edullisin taso |
| Moniperusteinen analyysi, migraatiosuunnitelma, hienovarainen bugi | Large 4, medium sitten high | Testaa ensin välitasoa; nosta tasoa, jos laatu vaatii sitä |
| Kriittinen päätös (juridinen, taloudellinen, lääketieteellinen) | Large 4, high + varmistus | Päättely vähentää virheitä, mutta ei poista niitä: toinen kierros tai ihmisen tarkistus on edelleen tarpeen |
Tämä matriisi tarjoaa lähtökohtia, ei absoluuttisia totuuksia: omat arviointisi ratkaisevat. Muista myös, että Large 4 on ollut julkisessa esiversiossa (Public Preview) 2. marraskuuta 2026 lähtien.
Laske ennen skaalaamista
Listatut hinnat (miljoonaa tokenia kohden, kirjattu 2. marraskuuta 2026) antavat sinun arvioida asetuksen kustannuksen vastauksen usage-kentän perusteella:
RATES = { # USD per million tokens: (input, output)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # deprecated, retirement on April 30, 2027
}
def cost(response, model):
"""Cost of a response, including reasoning (excluding cache discounts)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Laske tämä kustannus pyyntötyyppiä kohden muutaman päivän ajalta todellisessa liikenteessä: tämä luku kertoo, onko yleinen high-asetus kestävää.
Reitytysarkkitehtuuri
Todellisessa sovelluksessa useimmat pyynnöt ovat yksinkertaisia. Päättelystä maksaminen näissä tapauksissa ei tuota lisäarvoa. Seuraava reititin kysyy ensin Small 4:ltä ilman päättelyä kysymyksen monimutkaisuuden arvioinnin ja ohjaa sitten kyselyn sopivaan asetukseen:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Routes each question to a model and a reasoning level."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # conservative value if the response isn't a number
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Luokittelukutsu maksaa vähän: muutama kymmenen tokenia halvimmalla mallilla, ilman päättelyä. Säädä kynnysarvoja havaintojen perusteella vertaamalla kunkin haaran laatua ja kustannuksia.
Tuotannon parhaat käytännöt
Kirjaa käyttö haaroittain. Tallenna jokaisesta vastauksesta malli, taso, usage.prompt_tokens, usage.completion_tokens ja yllä laskettu kustannus. Ilman näitä lukuja et voi tietää, kannattaako päättely.
Lukitse päivämäärälliset tunnisteet. Käytä tuotannossa tunnista mistral-small-2603 eikä mistral-small-latest: alias voi vaihtua uuteen versioon ilman, että koodisi muuttuu. Keskitä nämä tunnisteet yhteen määritystiedostoon.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Suunnittele varasuunnitelma. Koska Large 4 on julkisessa esiversiossa, varasuunnitelma Small 4:ään tilassa high suojaa palveluasi, jos kutsu epäonnistuu. Kaikki SDK:n HTTP-virhat periytyvät luokasta MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Seuraa vanhentumisia. Mistralin mallisivu listaa vanhentumis- ja poistopäivät. Medium 3.5 poistetaan käytöstä 30. huhtikuuta 2027: jos käytät sitä, määräaika on jo asetettu.
Kurssin yhteenveto
Päättely antaa mallille tilaa ajatella ennen vastaamista; Mistralilla määrität tämän pyyntökohtaisesti parametrilla reasoning_effort, jonka arvot riippuvat mallista. Vastaus saapuu sitten osina – ajatus ja sitten vastaus – jotka sinun on osattava lukea, myös suoratoistotilassa, ja toistaa kokonaisuudessaan monivaiheisissa keskusteluissa. Agentit ja Conversations API käyttävät samaa asetusta kentässä completion_args. Magistral on poistettu: Small 4 ja Large 4 ottavat vastuun, kun taas Medium 3.5 toimii vain siirtymävaiheen mallina. Lopuksi, päättely on perusteltua silloin, kun on polkuja tutkittavana ja virheitä estettävänä (matematiikka, koodi, päätökset), ja sitä on aina mitattava: laatu, tokenit, viive.
Keskeiset asiat
- Kaksi säädintä: malli (Small 4, Large 4) ja
reasoning_effort-taso - Small 4 tilassa
noneyksinkertaisiin tehtäviin, tilassahighmonivaiheisiin; Large 4 vaikeimpiin tapauksiin - Laske kunkin asetuksen kustannus
usage-tietojen ja virallisten hintojen perusteella ennen skaalaamista - Reititin varaa päättelyn vain kyselyille, jotka hyötyvät siitä
- Tuotannossa: päivämäärälliset tunnisteet, käytön lokitus, varasuunnitelma Large 4:stä Small 4:ään
Testaa tietosi
Viisi kysymystä kurssin ydinasioiden vahvistamiseksi.
1. Mitkä reasoning_effort-arvot Mistral Large 4 hyväksyy, ja minkä se hylkää?
Vastaus: low, medium ja high (dokumentaatio suosittelee high:ia lähtökohdaksi). Se hylkää none: taso, jota aiemmin kutsuttiin sillä esiversiossa, on nyt nimetty low:ksi.
2. Missä ajatusteksti sijaitsee päättelyä sisältävässä vastauksessa?
Vastaus: ThinkChunk-objektissa (tyyppi thinking) luettelossa message.content. Sen thinking-kenttä on itse asiassa lista TextChunk-objekteja, joista luet text-kentän. Lopullinen vastaus on ylimmän tason TextChunk-objektissa.
3. Mitä sinun on palautettava monivaiheisen keskustelun historiaan Chat Completionsissa?
Vastaus: Avustajan täydellinen viesti, mukaan lukien ajatusosiot. Ajatusten poistaminen säästää tokeneja, mutta heikentää merkittävästi myöhempien vuorojen laatua.
4. Koodisi kutsuu edelleen magistral-medium-latest: mitä sinun tulee tehdä?
Vastaus: Siirry heti, sillä Magistral poistettiin käytöstä 31. heinäkuuta 2026. Kohdista Small 4:ään, jos laatu riittää, muuten Large 4:ään asetuksella reasoning_effort="high"; Medium 3.5, joka on nimetty korvaajaksi, on itse vanhentumassa 30. huhtikuuta 2027 saakka. Poista prompt_mode ja ajatusmalli järjestelmäkehotteista.
5. Miten asetat reasoning_effortin Mistral-agentissa?
Vastaus: Agentin completion_args-kentässä, esimerkiksi completion_args={"reasoning_effort": "high"}. Conversations API:a käytettäessä käytä samaa kenttää jokaisessa start- tai append-kutsussa.