Volba správné úrovně uvažování
Na této stránce
Lekce přepsána dne 2. listopadu 2026. Dříve porovnávala „nastavitelné“ uvažování modelu Mistral Small s „nativním“ uvažováním modelu Magistral, ale Magistral byl vyřazen 31. července 2026. Volba nyní spočívá mezi obecnými modely a úrovněmi
reasoning_effort. Zdroje: Reasoning · Small 4 a Large 4 karty modelů.
Dva ovládací prvky místo řady modelů
Výběr modelu pro uvažování u Mistralu dříve znamenal volbu mezi dvěma odlišnými řadami. Dnes to znamená nastavení dvou ovládacích prvků: modelu (Small 4 pro většinu úloh, Large 4 pro nejnáročnější případy) a úrovně uvažování (none nebo high u Small 4; low, medium nebo high u Large 4). Jediná aplikace může a často by měla využívat více kombinací.
Rozhodovací matice
| Situace | Počáteční nastavení | Proč |
|---|---|---|
| Faktická otázka, přeformulování, extrakce | Small 4, none | Není co řešit: uvažování by pouze zvýšilo latenci a spotřebu tokenů |
| Vícekrokový výpočet, rutinní ladění, jednoduché porovnání | Small 4, high | Uvažování opravuje chyby v řetězení za mírný náklad |
| Shrnutí nebo přeformulování na Large 4 | Large 4, low | Large 4 nepřijímá none; low je jeho nejúspornější úroveň |
| Analýza více kritérií, plán migrace, obtížně zachytitelná chyba | Large 4, medium, poté high | Nejprve otestuj střední úroveň; pokud kvalita vyžaduje, přejdi výše |
| Kritické rozhodnutí (právní, finanční, lékařské) | Large 4, high + ověření | Uvažování snižuje chyby, ale neodstraňuje je zcela: druhý průchod nebo lidská kontrola zůstávají nezbytné |
Tato matice poskytuje výchozí body, nikoliv absolutní pravdy: rozhodují tvá vlastní vyhodnocení. Nezapomeň také, že Large 4 je k 2. listopadu 2026 ve fázi Public Preview.
Před škálováním spočítej náklady
Uvedené sazby (na milion tokenů, zaznamenané k 2. listopadu 2026) ti umožní odhadnout náklady nastavení z pole usage v odpovědích:
RATES = { # USD na milion tokenů: (vstup, výstup)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # zastaralé, vyřazení 30. dubna 2027
}
def cost(response, model):
"""Náklady na odpověď, včetně uvažování (bez slev za cache)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Sečti tyto náklady podle typu požadavku za několik dní reálného provozu: toto číslo ti řekne, zda je generalizované nastavení high udržitelné.
Architektura směrování
V reálné aplikaci je většina požadavků jednoduchá. Placení za uvažování u nich nepřináší žádnou hodnotu. Následující směrovač nejprve požádá Small 4 (bez uvažování) o odhad složitosti dotazu a následně směruje dotaz na příslušné nastavení:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Směruje každý dotaz na model a úroveň uvažování."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # konzervativní hodnota, pokud odpověď není číslo
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Volání pro klasifikaci stojí málo: několik desítek tokenů na nejlevnějším modelu a bez uvažování. Práhové hodnoty uprav po pozorování, kdy porovnáš kvalitu a náklady jednotlivých větví.
Osvědčené postupy pro produkci
Loguj využití podle větví. Pro každou odpověď ulož model, úroveň, usage.prompt_tokens, usage.completion_tokens a výše vypočítané náklady. Bez těchto čísel nezjistíš, zda se uvažování vyplatí.
Připni identifikátory s datem. V produkci používej mistral-small-2603 místo mistral-small-latest: alias se může přepnout na novou verzi, aniž by se změnil tvůj kód. Centralizuj tyto identifikátory v jediné konfiguraci.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Plánuj záložní řešení. Protože je Large 4 ve fázi Public Preview, záložní přechod na Small 4 v režimu high chrání tvou službu v případě selhání volání. Všechny chyby HTTP v SDK dědí od MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Sleduj ukončení podpory. Stránka modelů Mistral uvádí data ukončení podpory a vyřazení. Medium 3.5 bude vyřazen 30. dubna 2027: pokud jej používáš, termín je již stanoven.
Shrnutí kurzu
Uvažování dává modelu prostor na rozmyšlenou před odpovědí; u Mistralu to konfiguruješ pro každý požadavek pomocí reasoning_effort, jehož hodnoty závisí na modelu. Odpověď pak přichází jako fragmenty – myšlenkový proces a poté odpověď – které se musíš naučit číst, včetně režimu streamování, a přehrávat v plném rozsahu pro vícekolové konverzace. Agenti a Conversations API přenášejí stejné nastavení v completion_args. Magistral je vyřazen: přebírají jej Small 4 a Large 4, přičemž Medium 3.5 slouží pouze jako přechodný krok. Nakonec, uvažování je opodstatněné tam, kde existují cesty k prozkoumání a chyby k odhalení (matematika, kód, rozhodování), a musí být vždy měřeno: kvalita, tokeny, latence.
Klíčové poznatky
- Dva ovládací prvky: model (Small 4, Large 4) a úroveň
reasoning_effort - Small 4 v
nonepro jednoduché úlohy, vhighpro vícekrokové; Large 4 pro nejnáročnější případy - Před škálováním vypočítej náklady každého nastavení z
usagea oficiálních sazeb - Směrovač vyhrazuje uvažování pro dotazy, kterým to prospěje
- V produkci: identifikátory s datem, logování využití, záložní přechod z Large 4 na Small 4
Ověř si své znalosti
Pět otázek k ověření základních principů kurzu.
1. Jaké hodnoty reasoning_effort přijímá Mistral Large 4 a kterou odmítá?
Odpověď: low, medium a high (dokumentace doporučuje high jako výchozí bod). Odmítá none: úroveň, která se tak dříve nazývala v jeho preview verzi, se nyní jmenuje low.
2. Kde se v odpovědi s uvažováním nachází text myšlenkového procesu?
Odpověď: V ThinkChunk (typ thinking) v seznamu message.content. Jeho pole thinking je samo o sobě seznamem objektů TextChunk, z nichž čteš pole text. Konečná odpověď se nachází v TextChunk na nejvyšší úrovni.
3. Co musíš vrátit zpět do historie vícekolové konverzace v Chat Completions?
Odpověď: Kompletní zprávu asistenta, včetně fragmentů myšlenkového procesu. Odstranění myšlenkového procesu šetří tokeny, ale výrazně snižuje kvalitu následujících kol.
4. Tvůj kód stále volá magistral-medium-latest: co máš dělat?
Odpověď: Okamžitě migruj, protože Magistral byl vyřazen 31. července 2026. Cíl na Small 4, pokud kvalita stačí, jinak na Large 4 s reasoning_effort="high"; Medium 3.5, určená náhrada, je sama o sobě zastaralá až do 30. dubna 2027. Odstraň prompt_mode a šablonu myšlenkového procesu ze systémových promptů.
5. Jak nastavíš reasoning_effort v agentovi Mistral?
Odpověď: V poli completion_args agenta, například completion_args={"reasoning_effort": "high"}. U Conversations API použij stejné pole při každém start nebo append.