Výber správnej úrovne usudzovania
Na tejto strane
Lekcia bola prepísaná 2. novembra 2026. Predtým porovnávala „nastaviteľné“ usudzovanie modelu Mistral Small s „natívnym“ usudzovaním modelu Magistral, no Magistral bol vyradený 31. júla 2026. Rozhodovanie teraz prebieha medzi všeobecnými modelmi a úrovňami
reasoning_effort. Zdroje: Reasoning · Karty modelov Small 4 a Large 4.
Dva ovládače namiesto radu modelov
Výber modelu na usudzovanie v Mistrale kedysi znamenal výber medzi dvoma odlišnými radmi. Dnes to znamená nastavenie dvoch ovládačov: modelu (Small 4 pre väčšinu úloh, Large 4 pre najnáročnejšie prípady) a úrovne usudzovania (none alebo high pri Small 4; low, medium alebo high pri Large 4). Jediná aplikácia môže a často by mala využívať viacero kombinácií.
Rozhodovacia matica
| Situácia | Počiatočné nastavenie | Prečo |
|---|---|---|
| Faktografická otázka, preformulovanie, extrakcia | Small 4, none | Niet nad čím uvažovať: usudzovanie by len zvýšilo latenciu a spotrebu tokenov |
| Viackrokový výpočet, bežné ladenie, jednoduché porovnanie | Small 4, high | Usudzovanie opravuje chyby v reťazení za mierny náklad |
| Zhrnutie alebo preformulovanie na Large 4 | Large 4, low | Large 4 neprijíma none; low je jeho najúspornejšia úroveň |
| Analýza podľa viacerých kritérií, plán migrácie, zložitá chyba | Large 4, medium, potom high | Najprv otestuj strednú úroveň; ak kvalita vyžaduje, prejdite na vyššiu |
| Kritické rozhodnutie (právne, finančné, zdravotné) | Large 4, high + overenie | Usudzovanie znižuje chyby, ale neodstraňuje ich úplne: druhý prechod alebo ľudská kontrola zostáva nevyhnutná |
Táto matica poskytuje východiskové body, nie absolútne pravdy: rozhodujú tvoje vlastné hodnotenia. Pamätaj tiež, že Large 4 je od 2. novembra 2026 vo fáze verejnej ukážky (Public Preview).
Najprv spočítaj, až potom škáluj
Uvedené sadzby (na milión tokenov, zaznamenané k 2. novembru 2026) ti umožňujú odhadnúť náklady nastavenia z poľa usage v odpovediach:
RATES = { # USD za milión tokenov: (vstup, výstup)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # zastarané, vyradenie 30. apríla 2027
}
def cost(response, model):
"""Náklady na odpoveď vrátane usudzovania (bez zliav za cache)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Spočítaj tieto náklady podľa typu požiadavky počas niekoľkých dní reálnej premávky: toto číslo ti povie, či je generalizované nastavenie high udržateľné.
Architektúra smerovania
V reálnej aplikácii je väčšina požiadaviek jednoduchá. Platenie za usudzovanie v týchto prípadoch neprináša žiadnu hodnotu. Nasledujúci smerovač najprv požiada Small 4 (bez usudzovania) o odhad zložitosti otázky a následne smeruje dopyt na vhodné nastavenie:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Smeruje každú otázku na model a úroveň usudzovania."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # konzervatívna hodnota, ak odpoveď nie je číslo
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Volanie na klasifikáciu stojí málo: niekoľko desiatok tokenov na najlacnejšom modeli a bez usudzovania. Prahové hodnoty uprav po pozorovaní porovnaním kvality a nákladov jednotlivých vetiev.
Najlepšie postupy pre produkciu
Loguj využitie podľa vetvy. Pre každú odpoveď ulož model, úroveň, usage.prompt_tokens, usage.completion_tokens a vyššie vypočítané náklady. Bez týchto čísel nezistíš, či sa usudzovanie oplatí.
Pripni identifikátory s dátumom. V produkcii používaj mistral-small-2603 namiesto mistral-small-latest: alias sa môže prepnuť na novú verziu bez zmeny tvojho kódu. Centralizuj tieto identifikátory v jednej konfigurácii.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Plánuj záložné riešenie. Keďže Large 4 je vo verejnej ukážke, záložný prechod na Small 4 v režime high ochráni tvoju službu pri zlyhaní volania. Všetky HTTP chyby SDK dedia z MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Sleduj zastarania. Stránka modelov Mistral uvádza dátumy zastarania a vyradenia. Medium 3.5 bude vyradený 30. apríla 2027: ak ho používaš, termín je už stanovený.
Zhrnutie kurzu
Usudzovanie dáva modelu priestor na premyslenie pred odpoveďou; v Mistrale to konfiguruješ pre každú požiadavku pomocou reasoning_effort, ktorého hodnoty závisia od modelu. Odpoveď potom prichádza ako fragmenty – najprv myslenie, potom odpoveď – ktoré musíš vedieť čítať, a to aj v režime streamovania, a úplne ich reprodukovať pre viacnásobné konverzácie. Agenti a Conversations API prenášajú rovnaké nastavenie v completion_args. Magistral je vyradený: preberajú ho Small 4 a Large 4, pričom Medium 3.5 slúži len ako prechodný krok. Nakoniec, usudzovanie je opodstatnené tam, kde existujú cesty na preskúmanie a chyby na zachytenie (matematika, kód, rozhodovania), a musí byť vždy merané: kvalita, tokeny, latencia.
Kľúčové poznatky
- Dva ovládače: model (Small 4, Large 4) a úroveň
reasoning_effort - Small 4 v
nonepre jednoduché úlohy, vhighpre viackrokové; Large 4 pre najnáročnejšie prípady - Pred škálovaním vypočítaj náklady každého nastavenia z
usagea oficiálnych sadzieb - Smerovač vyhradzuje usudzovanie pre dopyty, ktoré z neho majú úžitok
- V produkcii: identifikátory s dátumom, logovanie využitia, záložný prechod z Large 4 na Small 4
Over si svoje vedomosti
Päť otázok na overenie základných poznatkov z kurzu.
1. Aké hodnoty reasoning_effort prijíma Mistral Large 4 a ktorú odmieta?
Odpoveď: low, medium a high (dokumentácia odporúča high ako východiskový bod). Odmieta none: úroveň, ktorá sa tak nazývala v jeho ukážkovej fáze, sa teraz nazýva low.
2. Kde sa v odpovedi s usudzovaním nachádza text myslenia?
Odpoveď: V ThinkChunk (typ thinking) v zozname message.content. Jeho pole thinking je samo o sebe zoznam objektov TextChunk, z ktorých čítaš pole text. Konečná odpoveď sa nachádza v TextChunk na najvyššej úrovni.
3. Čo musíš vrátiť späť do histórie viacnásobnej konverzácie v Chat Completions?
Odpoveď: Celú správu asistenta vrátane fragmentov myslenia. Odstránenie myslenia šetrí tokeny, ale výrazne zhoršuje kvalitu následných kôl.
4. Tvoj kód stále volá magistral-medium-latest: čo máš robiť?
Odpoveď: Okamžite migruj, keďže Magistral bol vyradený 31. júla 2026. Cieli na Small 4, ak kvalita stačí, inak na Large 4 s reasoning_effort="high"; Medium 3.5, určená náhrada, je sám o sebe zastaraný do 30. apríla 2027. Odstráň prompt_mode a šablónu myslenia zo systémových výziev.
5. Ako nastavíš reasoning_effort v agente Mistral?
Odpoveď: V poli completion_args agenta, napríklad completion_args={"reasoning_effort": "high"}. Pri Conversations API použij rovnaké pole pri každom start alebo append.