Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Oikean päättelytason valinta

Oppitunti 12 / 12 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Kaksi säädintä mallivalikoiman sijaan
  2. Päätösmatriisi
  3. Laske ennen skaalaamista
  4. Reitytysarkkitehtuuri
  5. Tuotannon parhaat käytännöt
  6. Kurssin yhteenveto
  7. Keskeiset asiat
  8. Testaa tietosi

Oppitunti kirjoitettu uudelleen 2. marraskuuta 2026. Aiemmin siinä verrattiin Mistral Smallin “säädettävää” päättelyä Magistralin “natiiviin” päättelyyn, mutta Magistral poistettiin käytöstä 31. heinäkuuta 2026. Valinta tehdään nyt yleiskäyttöisten mallien ja reasoning_effort-tasojen välillä. Lähteet: Reasoning · Small 4 ja Large 4 -mallikortit.

Kaksi säädintä mallivalikoiman sijaan

Päättelymallin valinta Mistralilla tarkoitti aiemmin kahden erillisen malliston välillä valitsemista. Nykyään se tarkoittaa kahden säätimen säätämistä: malli (Small 4 useimpiin tehtäviin, Large 4 vaikeimpiin tapauksiin) ja päättelytaso (none tai high Small 4:ssä; low, medium tai high Large 4:ssä). Yksi sovellus voi ja usein kannattaakin käyttää useita yhdistelmiä.

Päätösmatriisi

TilanneAloitusasetusMiksi
Faktakysymys, uudelleenmuotoilu, tiedonpoimintaSmall 4, noneEi pohdittavaa: päättely vain lisäisi viivettä ja token-kulutusta
Monivaiheinen laskenta, rutiininomainen vianetsintä, yksinkertainen vertailuSmall 4, highPäättely korjaa ketjutusvirheet kohtuullisella kustannuksella
Tiivistäminen tai uudelleenmuotoilu Large 4:lläLarge 4, lowLarge 4 ei hyväksy arvoa none; low on sen edullisin taso
Moniperusteinen analyysi, migraatiosuunnitelma, hienovarainen bugiLarge 4, medium sitten highTestaa ensin välitasoa; nosta tasoa, jos laatu vaatii sitä
Kriittinen päätös (juridinen, taloudellinen, lääketieteellinen)Large 4, high + varmistusPäättely vähentää virheitä, mutta ei poista niitä: toinen kierros tai ihmisen tarkistus on edelleen tarpeen

Tämä matriisi tarjoaa lähtökohtia, ei absoluuttisia totuuksia: omat arviointisi ratkaisevat. Muista myös, että Large 4 on ollut julkisessa esiversiossa (Public Preview) 2. marraskuuta 2026 lähtien.

Laske ennen skaalaamista

Listatut hinnat (miljoonaa tokenia kohden, kirjattu 2. marraskuuta 2026) antavat sinun arvioida asetuksen kustannuksen vastauksen usage-kentän perusteella:

RATES = {  # USD per million tokens: (input, output)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # deprecated, retirement on April 30, 2027
}

def cost(response, model):
    """Cost of a response, including reasoning (excluding cache discounts)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Laske tämä kustannus pyyntötyyppiä kohden muutaman päivän ajalta todellisessa liikenteessä: tämä luku kertoo, onko yleinen high-asetus kestävää.

Reitytysarkkitehtuuri

Todellisessa sovelluksessa useimmat pyynnöt ovat yksinkertaisia. Päättelystä maksaminen näissä tapauksissa ei tuota lisäarvoa. Seuraava reititin kysyy ensin Small 4:ltä ilman päättelyä kysymyksen monimutkaisuuden arvioinnin ja ohjaa sitten kyselyn sopivaan asetukseen:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Routes each question to a model and a reasoning level."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # conservative value if the response isn't a number

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Luokittelukutsu maksaa vähän: muutama kymmenen tokenia halvimmalla mallilla, ilman päättelyä. Säädä kynnysarvoja havaintojen perusteella vertaamalla kunkin haaran laatua ja kustannuksia.

Tuotannon parhaat käytännöt

Kirjaa käyttö haaroittain. Tallenna jokaisesta vastauksesta malli, taso, usage.prompt_tokens, usage.completion_tokens ja yllä laskettu kustannus. Ilman näitä lukuja et voi tietää, kannattaako päättely.

Lukitse päivämäärälliset tunnisteet. Käytä tuotannossa tunnista mistral-small-2603 eikä mistral-small-latest: alias voi vaihtua uuteen versioon ilman, että koodisi muuttuu. Keskitä nämä tunnisteet yhteen määritystiedostoon.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Suunnittele varasuunnitelma. Koska Large 4 on julkisessa esiversiossa, varasuunnitelma Small 4:ään tilassa high suojaa palveluasi, jos kutsu epäonnistuu. Kaikki SDK:n HTTP-virhat periytyvät luokasta MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Seuraa vanhentumisia. Mistralin mallisivu listaa vanhentumis- ja poistopäivät. Medium 3.5 poistetaan käytöstä 30. huhtikuuta 2027: jos käytät sitä, määräaika on jo asetettu.

Kurssin yhteenveto

Päättely antaa mallille tilaa ajatella ennen vastaamista; Mistralilla määrität tämän pyyntökohtaisesti parametrilla reasoning_effort, jonka arvot riippuvat mallista. Vastaus saapuu sitten osina – ajatus ja sitten vastaus – jotka sinun on osattava lukea, myös suoratoistotilassa, ja toistaa kokonaisuudessaan monivaiheisissa keskusteluissa. Agentit ja Conversations API käyttävät samaa asetusta kentässä completion_args. Magistral on poistettu: Small 4 ja Large 4 ottavat vastuun, kun taas Medium 3.5 toimii vain siirtymävaiheen mallina. Lopuksi, päättely on perusteltua silloin, kun on polkuja tutkittavana ja virheitä estettävänä (matematiikka, koodi, päätökset), ja sitä on aina mitattava: laatu, tokenit, viive.

Keskeiset asiat

  • Kaksi säädintä: malli (Small 4, Large 4) ja reasoning_effort-taso
  • Small 4 tilassa none yksinkertaisiin tehtäviin, tilassa high monivaiheisiin; Large 4 vaikeimpiin tapauksiin
  • Laske kunkin asetuksen kustannus usage-tietojen ja virallisten hintojen perusteella ennen skaalaamista
  • Reititin varaa päättelyn vain kyselyille, jotka hyötyvät siitä
  • Tuotannossa: päivämäärälliset tunnisteet, käytön lokitus, varasuunnitelma Large 4:stä Small 4:ään

Testaa tietosi

Viisi kysymystä kurssin ydinasioiden vahvistamiseksi.

1. Mitkä reasoning_effort-arvot Mistral Large 4 hyväksyy, ja minkä se hylkää?

Vastaus: low, medium ja high (dokumentaatio suosittelee high:ia lähtökohdaksi). Se hylkää none: taso, jota aiemmin kutsuttiin sillä esiversiossa, on nyt nimetty low:ksi.

2. Missä ajatusteksti sijaitsee päättelyä sisältävässä vastauksessa?

Vastaus: ThinkChunk-objektissa (tyyppi thinking) luettelossa message.content. Sen thinking-kenttä on itse asiassa lista TextChunk-objekteja, joista luet text-kentän. Lopullinen vastaus on ylimmän tason TextChunk-objektissa.

3. Mitä sinun on palautettava monivaiheisen keskustelun historiaan Chat Completionsissa?

Vastaus: Avustajan täydellinen viesti, mukaan lukien ajatusosiot. Ajatusten poistaminen säästää tokeneja, mutta heikentää merkittävästi myöhempien vuorojen laatua.

4. Koodisi kutsuu edelleen magistral-medium-latest: mitä sinun tulee tehdä?

Vastaus: Siirry heti, sillä Magistral poistettiin käytöstä 31. heinäkuuta 2026. Kohdista Small 4:ään, jos laatu riittää, muuten Large 4:ään asetuksella reasoning_effort="high"; Medium 3.5, joka on nimetty korvaajaksi, on itse vanhentumassa 30. huhtikuuta 2027 saakka. Poista prompt_mode ja ajatusmalli järjestelmäkehotteista.

5. Miten asetat reasoning_effortin Mistral-agentissa?

Vastaus: Agentin completion_args-kentässä, esimerkiksi completion_args={"reasoning_effort": "high"}. Conversations API:a käytettäessä käytä samaa kenttää jokaisessa start- tai append-kutsussa.