A megfelelő következtetési szint kiválasztása
Ezen az oldalon
Lecke átírva: 2026. november 2. Korábban a Mistral Small „állítható“ következtetését állította szembe a Magistral „natív“ következtetésével, de a Magistral szolgáltatását 2026. július 31-én megszüntették. A választás ma az általános célú modellek és a
reasoning_effortszintek között van. Források: Reasoning · Small 4 és Large 4 modellkártyák.
Két szabályozó a modellsor helyett
A Mistralnál a következtetési modell kiválasztása korábban két különálló modellsor közötti választást jelentett. Ma ez két szabályozó beállítását jelenti: a modellt (Small 4 a legtöbb feladathoz, Large 4 a legnehezebb esetekhez) és a következtetési szintet (none vagy high a Small 4 esetén; low, medium vagy high a Large 4 esetén). Egyetlen alkalmazásnak is érdemes – és gyakran kell is – több kombinációt használnia.
Döntési mátrix
| Helyzet | Kiindulási beállítás | Miért |
|---|---|---|
| Ténykereső kérdés, átfogalmazás, kinyerés | Small 4, none | Nincs mit mérlegelni: a következtetés csak a késleltetést és a tokenek számát növelné |
| Több lépéses számítás, rutin hibakeresés, egyszerű összehasonlítás | Small 4, high | A következtetés korrigálja a láncolási hibákat mérsékelt költséggel |
| Összefoglalás vagy átfogalmazás a Large 4-gyel | Large 4, low | A Large 4 nem fogadja el a none értéket; a low a leggazdaságosabb szintje |
| Több szempontú elemzés, migrációs terv, finom hiba | Large 4, medium, majd high | Először teszteld a köztes szintet; ha a minőség megköveteli, lépj feljebb |
| Kritikus döntés (jogi, pénzügyi, orvosi) | Large 4, high + ellenőrzés | A következtetés csökkenti a hibákat, de nem szünteti meg őket: második kör vagy emberi ellenőrzés továbbra is szükséges |
Ez a mátrix kiindulópontokat ad, nem abszolút igazságokat: a saját értékeléseid döntenek. Ne feledd azt sem, hogy a Large 4 2026. november 2-tól nyilvános előzetes verzióban (Public Preview) érhető el.
Számolj, mielőtt skálázol
A felsorolt díjak (millió tokenenként, rögzítve: 2026. november 2.) lehetővé teszik, hogy a válaszok usage mezőjéből megbecsüld egy beállítás költségét:
RATES = { # USD per million tokens: (input, output)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # deprecated, retirement on April 30, 2027
}
def cost(response, model):
"""Cost of a response, including reasoning (excluding cache discounts)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Add össze ezt a költséget kéréstípusonként néhány nap valós forgalma alapján: ez a szám megmutatja, hogy egy általánosított high beállítás fenntartható-e.
Egy útválasztó architektúra
Egy valós alkalmazásban a kérések többsége egyszerű. Ha ezekért fizetsz következtetést, az nem hoz plusz értéket. Az alábbi útválasztó először megkérdezi a Small 4 modellt (következtetés nélkül) a kérdés összetettségéről, majd a megfelelő beállításra irányítja a lekérdezést:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Routes each question to a model and a reasoning level."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # conservative value if the response isn't a number
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Az osztályozási hívás költsége csekély: néhány tucat token a legolcsóbb modellen, következtetés nélkül. Állítsd be a küszöbértékeket megfigyelés után, összehasonlítva az egyes ágak minőségét és költségét.
Bevált gyakorlatok éles környezetben
Naplózd a használatot ágak szerint. Minden válaszhoz mentsd el a modellt, a szintet, a usage.prompt_tokens, a usage.completion_tokens értékeket és a fent kiszámolt költséget. Ezen számok nélkül nem tudod megállapítani, hogy a következtetés megtérül-e.
Rögzíts dátumozott azonosítókat. Éles környezetben a mistral-small-latest helyett a mistral-small-2603 használandó: egy alias átállhat egy új verzióra a kódod módosítása nélkül. Centralizáld ezeket az azonosítókat egyetlen konfigurációs fájlban.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Tervezz tartalék megoldást. Mivel a Large 4 nyilvános előzetes verzióban van, egy Small 4-re való visszaállás high módban megvédi a szolgáltatásodat, ha a hívás meghiúsul. Az összes SDK HTTP-hiba a MistralError-ből öröklődik:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Figyeld a deprecated státuszokat. A Mistral modellek oldala felsorolja a deprecated és megszüntetési dátumokat. A Medium 3.5 szolgáltatását 2027. április 30-án szüntetik meg: ha használod, a határidő már adott.
A kurzus összefoglalása
A következtetés teret biztosít a modellnek a gondolkodásra a válaszadás előtt; a Mistralnál ezt kérésenként konfigurálod a reasoning_effort paraméterrel, amelynek értékei modelltől függenek. A válasz ezután töredékekként érkezik – gondolkodás, majd válasz –, amit tudnod kell olvasni, streaming módban is, és teljes egészében visszajátszani több körös beszélgetésekhez. Az ügynökök (Agents) és a Conversations API ugyanazt a beállítást viszik tovább a completion_args mezőben. A Magistral megszűnt: a Small 4 és a Large 4 veszi át a helyét, a Medium 3.5 pedig csak átmeneti lépésként szolgál. Végezetül, a következtetés ott indokolt, ahol bejárandó utak és elkapandó hibák vannak (matek, kód, döntések), és ezt mindig mérni kell: minőség, tokenek, késleltetés.
Főbb megállapítások
- Két szabályozó: a modell (Small 4, Large 4) és a
reasoning_effortszint - Small 4
nonemódban egyszerű feladatokhoz,highmódban több lépésesekhez; Large 4 a legnehezebb esetekre - Minden beállítást számolj ki a
usageés a hivatalos díjak alapján, mielőtt skálázod - Egy útválasztó fenntartja a következtetést azoknak a lekérdezéseknek, amelyeknek hasznára válik
- Éles környezetben: dátumozott azonosítók, használati naplózás, tartalék megoldás Large 4-ről Small 4-re
Teszteld a tudásod
Öt kérdés a tananyag alapvető elemeinek ellenőrzésére.
1. Milyen reasoning_effort értékeket fogad el a Mistral Large 4, és melyiket utasítja el?
Válasz: low, medium és high (a dokumentáció a high értéket javasolja kiindulópontként). Elutasítja a none értéket: az előzetes verzióban így nevezett szintet mostantól low-nak hívják.
2. Hol található a gondolkodási szöveg egy következtetést tartalmazó válaszban?
Válasz: Egy ThinkChunk-ban (típus: thinking) a message.content listán belül. Ennek thinking mezője maga is egy TextChunk objektumokból álló lista, ahonnan a text mezőt olvasod ki. A végső válasz egy felső szintű TextChunk-ban található.
3. Mit kell visszahelyezned egy több körös beszélgetés előzményeibe a Chat Completions használatakor?
Válasz: Az asszisztens teljes üzenetét, beleértve a gondolkodási töredékeket is. A gondolkodás eltávolítása tokeneket spórol, de jelentősen rontja a következő körök minőségét.
4. A kódod még mindig a magistral-medium-latest-et hívja meg: mit kell tenned?
Válasz: Azonnal migrálj, mivel a Magistral szolgáltatását 2026. július 31-én megszüntették. Célozd meg a Small 4-et, ha a minőség megfelelő, ellenkező esetben a Large 4-et reasoning_effort="high" beállítással; a kijelölt utód, a Medium 3.5 maga is deprecated státuszban van 2027. április 30-ig. Távolítsd el a prompt_mode paramétert és a gondolkodási sablont a rendszerüzenetekből (system prompts).
5. Hogyan állítod be a reasoning_effort értéket egy Mistral ügynöknél?
Válasz: Az ügynök completion_args mezőjében, például: completion_args={"reasoning_effort": "high"}. A Conversations API használatakor ugyan ezt a mezőt használd minden start vagy append hívásnál.