Õige põhjendustaseme valimine
Sellel lehel
Tund kirjutati 2. novembril 2026 ümber. Varem seati vastamisi Mistral Smalli „kohandatav“ põhjendamine ja Magistrali „loomupärane“ põhjendamine, kuid Magistral lõpetas tegevuse 31. juulil 2026. Nüüd seisneb valik üldotstarbeliste mudelite ja
reasoning_efforttasemete vahel. Allikad: Reasoning · Small 4 ja Large 4 mudelikaardid.
Kaks lülitit mudelivaliku asemel
Varem tähendas Mistrali põhjendusmudeli valimine kahe erineva mudelipere vahel otsustamist. Tänapäeval tähendab see kahe lüliti reguleerimist: mudel (Small 4 enamiku ülesannete jaoks, Large 4 kõige keerukamate juhtumite jaoks) ja põhjendustase (none või high Small 4 puhul; low, medium või high Large 4 puhul). Üks rakendus saab ja sageli peaks kasutama mitut kombinatsiooni.
Otsustusmaatriks
| Olukord | Algsätted | Miks |
|---|---|---|
| Faktiline küsimus, ümberformuleerimine, ekstraheerimine | Small 4, none | Millestki pole vaja arutleda: põhjendamine lisaks vaid latentsust ja tokeneid |
| Mitmeastmeline arvutus, rutiinne silumine, lihtne võrdlus | Small 4, high | Põhjendamine parandab aheldusvigu mõõduka kuluga |
| Kokkuvõte või ümberformuleerimine Large 4-l | Large 4, low | Large 4 ei aktsepteeri none-i; low on selle ökonoomseim tase |
| Mitmekriteeriumiline analüüs, migratsiooniplaan, peenike viga | Large 4, medium, seejärel high | Testi esmalt vaheetappi; suurenda taset, kui kvaliteet seda nõuab |
| Kriitiline otsus (õiguslik, finantsiline, meditsiiniline) | Large 4, high + verifitseerimine | Põhjendamine vähendab vigu, kuid ei kõrvalda neid: teine läbivaatus või inimene on endiselt vajalik |
See maatriks annab lähtepunkte, mitte absoluutseid tõdesid: lõpliku otsuse teevad sinu enda hindamised. Pea meeles ka, et Large 4 on alates 2. novembrist 2026 avalikus eelvaates.
Arvuta enne skaleerimist
Loetletud hinnad (miljoni tokeni kohta, fikseeritud 2. novembril 2026) võimaldavad hinnata sätte kulu vastuse usage välja põhjal:
RATES = { # USD miljoni tokeni kohta: (sisend, väljund)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # iganenud, tegevuse lõpetamine 30. aprillil 2027
}
def cost(response, model):
"""Vastuse kulu, kaasates põhjendamine (välja arvatud vahemälu soodustused)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Liida see kulu taotluse tüübi kohta mõne päeva reaalse liikluse põhjal: see number ütleb sulle, kas üldistatud high säte on jätkusuutlik.
Suunamisarhitektuur
Reaalses rakenduses on enamik päringuid lihtsad. Põhjendamise eest maksmine nende puhul ei lisa väärtust. Järgnev ruuter küsib esmalt Small 4-lt (ilma põhjendamiseta) küsimuse keerukuse hinnangut ja suunab seejärel päringu sobivale sättele:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Suunab iga küsimuse mudelile ja põhjendustasemele."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Hinda selle küsimuse keerukust 0-st 10-ni. Vasta ainult numbriga: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # konservatiivne väärtus, kui vastus pole number
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Klassifitseerimiskõne maksab vähe: paar tosinat tokenit odavaimal mudelil, ilma põhjendamiseta. Kohanda lävendeid pärast vaatlust, võrreldes iga haru kvaliteeti ja kulu.
Toote parimad tavad
Logi kasutus harude kaupa. Salvesta iga vastuse puhul mudel, tase, usage.prompt_tokens, usage.completion_tokens ja ülal arvutatud kulu. Ilma nende numbriteta ei saa sa öelda, kas põhjendamine tasub end ära.
Lukusta dateeritud identifikaatorid. Kasuta tootmises mistral-small-2603 asemel mistral-small-latest: alias võib lülituda uuele versioonile ilma sinu koodi muutmata. Tsentraliseeri need identifikaatorid ühte konfiguratsiooni.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Planeeri varuplahendus. Kuna Large 4 on avalikus eelvaates, kaitseb varuvariant Small 4-le režiimis high sinu teenust, kui kõne ebaõnnestub. Kõik SDK HTTP vead pärinevad MistralError-ist:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Jälgi iganemisi. Mistrali mudelite leht loetleb iganemise ja tegevuse lõpetamise kuupäevad. Medium 3.5 tegevus lõpetatakse 30. aprillil 2027: kui sa seda kasutad, on tähtaeg juba paigas.
Kursuse kokkuvõte
Põhjendamine annab mudelile ruumi mõtlemiseks enne vastamist; Mistralis konfigureerid seda iga päringu jaoks reasoning_effort-iga, mille väärtused sõltuvad mudelist. Vastus saabub seejärel fragmentidena – mõtlemine ja siis vastus –, mida pead oskama lugeda, sealhulgas voogedastusrežiimis, ja taasesitama täies ulatuses mitmekäigulistes vestlustes. Agendid ja Conversations API kannavad sama sätet väljal completion_args. Magistral on lõpetanud tegevuse: Small 4 ja Large 4 võtavad ohjad üle, kusjuures Medium 3.5 teenib vaid üleminekuetapina. Lõpuks on põhjendamine õigustatud seal, kus on uuritavaid teid ja püüdvaid vigu (matemaatika, kood, otsused), ja seda tuleb alati mõõta: kvaliteet, tokenid, latentsus.
Peamised punktid
- Kaks lülitit: mudel (Small 4, Large 4) ja
reasoning_efforttase - Small 4 režiimis
nonelihtsate ülesannete jaoks, režiimishighmitmeastmeliste jaoks; Large 4 kõige keerukamate juhtumite jaoks - Arvuta iga säte
usageja ametlike hindade põhjal enne selle skaleerimist - Ruuter reserveerib põhjendamise päringutele, mis sellest kasu saavad
- Tootmises: dateeritud identifikaatorid, kasutuse logimine, varuplahendus Large 4-lt Small 4-le
Testi oma teadmisi
Viis küsimust kursuse põhiosa kinnitamiseks.
1. Milliseid reasoning_effort väärtusi Mistral Large 4 aktsepteerib ja millise tagasi lükkab?
Vastus: low, medium ja high (dokumentatsioon soovitab high lähtepunktina). See lükkab tagasi none: tase, mida selle eelvaates nii nimetati, kannab nüüd nime low.
2. Kus asub mõttetekst vastuses, mis sisaldab põhjendamist?
Vastus: ThinkChunk-is (tüüp thinking) loendis message.content. Selle väli thinking on omakorda TextChunk objektide loend, millest loed välja text. Lõplik vastus asub ülemise taseme TextChunk-is.
3. Mida pead tagasi panema mitmekäigulise vestluse ajalukku Chat Completionsis?
Vastus: Assistenti täieliku sõnumi, kaasa arvatud mõttefragmendid. Mõtlemise eemaldamine säästab tokeneid, kuid halvendab oluliselt järgnevate käikude kvaliteeti.
4. Sinu kood kutsub endiselt magistral-medium-latest: mida peaksid tegema?
Vastus: Migreeru viivitamatult, kuna Magistral lõpetas tegevuse 31. juulil 2026. Sihti Small 4, kui kvaliteet on piisav, vastasel juhul Large 4 koos reasoning_effort="high"; Medium 3.5, mis on määratud asendajaks, on ise iganenud kuni 30. aprillini 2027. Eemalda prompt_mode ja mõtlemise mall süsteemikäsust.
5. Kuidas seadistad reasoning_effort Mistrali agendis?
Vastus: Agendi väljal completion_args, näiteks completion_args={"reasoning_effort": "high"}. Conversations API puhul kasuta sama välja igal start või append korral.