Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Õige põhjendustaseme valimine

Õppetund 12 / 12 Värskendatud 2. november 2026 Arendajatele
Sellel lehel
  1. Kaks lülitit mudelivaliku asemel
  2. Otsustusmaatriks
  3. Arvuta enne skaleerimist
  4. Suunamisarhitektuur
  5. Toote parimad tavad
  6. Kursuse kokkuvõte
  7. Peamised punktid
  8. Testi oma teadmisi

Tund kirjutati 2. novembril 2026 ümber. Varem seati vastamisi Mistral Smalli „kohandatav“ põhjendamine ja Magistrali „loomupärane“ põhjendamine, kuid Magistral lõpetas tegevuse 31. juulil 2026. Nüüd seisneb valik üldotstarbeliste mudelite ja reasoning_effort tasemete vahel. Allikad: Reasoning · Small 4 ja Large 4 mudelikaardid.

Kaks lülitit mudelivaliku asemel

Varem tähendas Mistrali põhjendusmudeli valimine kahe erineva mudelipere vahel otsustamist. Tänapäeval tähendab see kahe lüliti reguleerimist: mudel (Small 4 enamiku ülesannete jaoks, Large 4 kõige keerukamate juhtumite jaoks) ja põhjendustase (none või high Small 4 puhul; low, medium või high Large 4 puhul). Üks rakendus saab ja sageli peaks kasutama mitut kombinatsiooni.

Otsustusmaatriks

OlukordAlgsättedMiks
Faktiline küsimus, ümberformuleerimine, ekstraheerimineSmall 4, noneMillestki pole vaja arutleda: põhjendamine lisaks vaid latentsust ja tokeneid
Mitmeastmeline arvutus, rutiinne silumine, lihtne võrdlusSmall 4, highPõhjendamine parandab aheldusvigu mõõduka kuluga
Kokkuvõte või ümberformuleerimine Large 4-lLarge 4, lowLarge 4 ei aktsepteeri none-i; low on selle ökonoomseim tase
Mitmekriteeriumiline analüüs, migratsiooniplaan, peenike vigaLarge 4, medium, seejärel highTesti esmalt vaheetappi; suurenda taset, kui kvaliteet seda nõuab
Kriitiline otsus (õiguslik, finantsiline, meditsiiniline)Large 4, high + verifitseeriminePõhjendamine vähendab vigu, kuid ei kõrvalda neid: teine läbivaatus või inimene on endiselt vajalik

See maatriks annab lähtepunkte, mitte absoluutseid tõdesid: lõpliku otsuse teevad sinu enda hindamised. Pea meeles ka, et Large 4 on alates 2. novembrist 2026 avalikus eelvaates.

Arvuta enne skaleerimist

Loetletud hinnad (miljoni tokeni kohta, fikseeritud 2. novembril 2026) võimaldavad hinnata sätte kulu vastuse usage välja põhjal:

RATES = {  # USD miljoni tokeni kohta: (sisend, väljund)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # iganenud, tegevuse lõpetamine 30. aprillil 2027
}

def cost(response, model):
    """Vastuse kulu, kaasates põhjendamine (välja arvatud vahemälu soodustused)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Liida see kulu taotluse tüübi kohta mõne päeva reaalse liikluse põhjal: see number ütleb sulle, kas üldistatud high säte on jätkusuutlik.

Suunamisarhitektuur

Reaalses rakenduses on enamik päringuid lihtsad. Põhjendamise eest maksmine nende puhul ei lisa väärtust. Järgnev ruuter küsib esmalt Small 4-lt (ilma põhjendamiseta) küsimuse keerukuse hinnangut ja suunab seejärel päringu sobivale sättele:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Suunab iga küsimuse mudelile ja põhjendustasemele."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Hinda selle küsimuse keerukust 0-st 10-ni. Vasta ainult numbriga: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # konservatiivne väärtus, kui vastus pole number

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Klassifitseerimiskõne maksab vähe: paar tosinat tokenit odavaimal mudelil, ilma põhjendamiseta. Kohanda lävendeid pärast vaatlust, võrreldes iga haru kvaliteeti ja kulu.

Toote parimad tavad

Logi kasutus harude kaupa. Salvesta iga vastuse puhul mudel, tase, usage.prompt_tokens, usage.completion_tokens ja ülal arvutatud kulu. Ilma nende numbriteta ei saa sa öelda, kas põhjendamine tasub end ära.

Lukusta dateeritud identifikaatorid. Kasuta tootmises mistral-small-2603 asemel mistral-small-latest: alias võib lülituda uuele versioonile ilma sinu koodi muutmata. Tsentraliseeri need identifikaatorid ühte konfiguratsiooni.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Planeeri varuplahendus. Kuna Large 4 on avalikus eelvaates, kaitseb varuvariant Small 4-le režiimis high sinu teenust, kui kõne ebaõnnestub. Kõik SDK HTTP vead pärinevad MistralError-ist:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Jälgi iganemisi. Mistrali mudelite leht loetleb iganemise ja tegevuse lõpetamise kuupäevad. Medium 3.5 tegevus lõpetatakse 30. aprillil 2027: kui sa seda kasutad, on tähtaeg juba paigas.

Kursuse kokkuvõte

Põhjendamine annab mudelile ruumi mõtlemiseks enne vastamist; Mistralis konfigureerid seda iga päringu jaoks reasoning_effort-iga, mille väärtused sõltuvad mudelist. Vastus saabub seejärel fragmentidena – mõtlemine ja siis vastus –, mida pead oskama lugeda, sealhulgas voogedastusrežiimis, ja taasesitama täies ulatuses mitmekäigulistes vestlustes. Agendid ja Conversations API kannavad sama sätet väljal completion_args. Magistral on lõpetanud tegevuse: Small 4 ja Large 4 võtavad ohjad üle, kusjuures Medium 3.5 teenib vaid üleminekuetapina. Lõpuks on põhjendamine õigustatud seal, kus on uuritavaid teid ja püüdvaid vigu (matemaatika, kood, otsused), ja seda tuleb alati mõõta: kvaliteet, tokenid, latentsus.

Peamised punktid

  • Kaks lülitit: mudel (Small 4, Large 4) ja reasoning_effort tase
  • Small 4 režiimis none lihtsate ülesannete jaoks, režiimis high mitmeastmeliste jaoks; Large 4 kõige keerukamate juhtumite jaoks
  • Arvuta iga säte usage ja ametlike hindade põhjal enne selle skaleerimist
  • Ruuter reserveerib põhjendamise päringutele, mis sellest kasu saavad
  • Tootmises: dateeritud identifikaatorid, kasutuse logimine, varuplahendus Large 4-lt Small 4-le

Testi oma teadmisi

Viis küsimust kursuse põhiosa kinnitamiseks.

1. Milliseid reasoning_effort väärtusi Mistral Large 4 aktsepteerib ja millise tagasi lükkab?

Vastus: low, medium ja high (dokumentatsioon soovitab high lähtepunktina). See lükkab tagasi none: tase, mida selle eelvaates nii nimetati, kannab nüüd nime low.

2. Kus asub mõttetekst vastuses, mis sisaldab põhjendamist?

Vastus: ThinkChunk-is (tüüp thinking) loendis message.content. Selle väli thinking on omakorda TextChunk objektide loend, millest loed välja text. Lõplik vastus asub ülemise taseme TextChunk-is.

3. Mida pead tagasi panema mitmekäigulise vestluse ajalukku Chat Completionsis?

Vastus: Assistenti täieliku sõnumi, kaasa arvatud mõttefragmendid. Mõtlemise eemaldamine säästab tokeneid, kuid halvendab oluliselt järgnevate käikude kvaliteeti.

4. Sinu kood kutsub endiselt magistral-medium-latest: mida peaksid tegema?

Vastus: Migreeru viivitamatult, kuna Magistral lõpetas tegevuse 31. juulil 2026. Sihti Small 4, kui kvaliteet on piisav, vastasel juhul Large 4 koos reasoning_effort="high"; Medium 3.5, mis on määratud asendajaks, on ise iganenud kuni 30. aprillini 2027. Eemalda prompt_mode ja mõtlemise mall süsteemikäsust.

5. Kuidas seadistad reasoning_effort Mistrali agendis?

Vastus: Agendi väljal completion_args, näiteks completion_args={"reasoning_effort": "high"}. Conversations API puhul kasuta sama välja igal start või append korral.