Wybór odpowiedniego poziomu rozumowania
Na tej stronie
Lekcja przepisana 2 listopada 2026 r. Wcześniej przeciwstawiała „elastyczne“ rozumowanie modelu Mistral Small „natywnemu“ rozumowaniu modelu Magistral, ale Magistral został wycofany 31 lipca 2026 r. Wybór sprowadza się teraz do modeli ogólnych i poziomów
reasoning_effort. Źródła: Reasoning · karty modeli Small 4 i Large 4.
Dwa pokrętła zamiast linii modeli
Wybór modelu rozumowania w Mistral oznaczał kiedyś wybór między dwiema odrębnymi liniami produktowymi. Dziś oznacza dostosowanie dwóch pokręteł: modelu (Small 4 do większości zadań, Large 4 do najtrudniejszych przypadków) oraz poziomu rozumowania (none lub high w Small 4; low, medium lub high w Large 4). Pojedyncza aplikacja może, a często powinna, wykorzystywać wiele takich kombinacji.
Macierz decyzyjna
| Sytuacja | Ustawienie początkowe | Dlaczego |
|---|---|---|
| Pytanie faktograficzne, parafraza, ekstrakcja | Small 4, none | Nie ma nad czym deliberować: rozumowanie tylko zwiększy opóźnienie i zużycie tokenów |
| Obliczenia wieloetapowe, rutynowe debugowanie, proste porównanie | Small 4, high | Rozumowanie koryguje błędy łańcuchowe przy umiarkowanym koszcie |
| Streszczanie lub parafraza na Large 4 | Large 4, low | Large 4 nie akceptuje none; low to jego najbardziej ekonomiczny poziom |
| Analiza wielokryterialna, plan migracji, subtelny błąd | Large 4, medium, potem high | Najpierw przetestuj poziom pośredni; zwiększ go, jeśli wymaga tego jakość |
| Decyzja krytyczna (prawna, finansowa, medyczna) | Large 4, high + weryfikacja | Rozumowanie redukuje błędy, ale ich nie eliminuje: konieczny jest drugi przebieg lub przegląd przez człowieka |
Ta macierz dostarcza punktów wyjścia, a nie absolutnych prawd: ostateczną decyzję podejmujesz na podstawie własnych ocen. Pamiętaj też, że Large 4 znajduje się w fazie Public Preview od 2 listopada 2026 r.
Obliczaj, zanim skalujesz
Podane stawki (za milion tokenów, zarejestrowane 2 listopada 2026 r.) pozwalają oszacować koszt ustawienia na podstawie pola usage w odpowiedziach:
RATES = { # USD za milion tokenów: (wejście, wyjście)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # przestarzały, wycofanie 30 kwietnia 2027 r.
}
def cost(response, model):
"""Koszt odpowiedzi, wliczając rozumowanie (bez rabatów za cache)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Zsumuj ten koszt dla każdego typu żądania w ciągu kilku dni rzeczywistego ruchu: otrzymana liczba powie Ci, czy uogólnione ustawienie high jest utrzymane.
Architektura routingu
W rzeczywistej aplikacji większość żądań jest prosta. Płacenie za rozumowanie w takich przypadkach nie wnosi wartości. Poniższy router najpierw pyta Small 4 (bez rozumowania) o oszacowanie złożoności pytania, a następnie kieruje zapytanie do odpowiedniego ustawienia:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Kieruje każde pytanie do modelu i poziomu rozumowania."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Oceń złożoność tego pytania w skali od 0 do 10. Odpowiedz tylko liczbą: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # wartość zachowawcza, jeśli odpowiedź nie jest liczbą
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Wywołanie klasyfikacyjne kosztuje niewiele: kilkadziesiąt tokenów na najtańszym modelu, bez rozumowania. Dostosuj progi po obserwacji, porównując jakość i koszt każdej gałęzi.
Dobre praktyki produkcyjne
Loguj zużycie według gałęzi. Dla każdej odpowiedzi przechowuj model, poziom, usage.prompt_tokens, usage.completion_tokens oraz wyliczony powyżej koszt. Bez tych liczb nie dowiesz się, czy rozumowanie się opłaca.
Przypinaj identyfikatory z datą. W środowisku produkcyjnym używaj mistral-small-2603 zamiast mistral-small-latest: alias może przełączyć się na nową wersję bez zmiany Twojego kodu. scentralizuj te identyfikatory w jednej konfiguracji.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Zaplanuj awaryjne przejście (fallback). Ponieważ Large 4 jest w fazie Public Preview, przejście awaryjne do Small 4 w trybie high chroni Twój serwis w przypadku niepowodzenia wywołania. Wszystkie błędy HTTP SDK dziedziczą po MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Obserwuj wycofania. Strona modeli Mistral zawiera daty wycofania i zakończenia wsparcia. Medium 3.5 zostanie wycofany 30 kwietnia 2027 r.: jeśli go używasz, termin jest już ustalony.
Podsumowanie kursu
Rozumowanie daje modelowi przestrzeń do namysłu przed udzieleniem odpowiedzi; w Mistral konfigurujesz to dla każdego żądania za pomocą reasoning_effort, którego wartości zależą od modelu. Odpowiedź przychodzi następnie jako fragmenty – myślenie, a potem odpowiedź – które musisz umieć odczytać, również w trybie strumieniowym, i odtworzyć w całości w rozmowach wieloturowych. Agenci i Conversations API przenoszą to samo ustawienie w completion_args. Magistral został wycofany: przejmują go Small 4 i Large 4, a Medium 3.5 służy jedynie jako krok przejściowy. Na koniec, rozumowanie jest uzasadnione tam, gdzie istnieją ścieżki do zbadania i błędy do wychwycenia (matematyka, kod, decyzje) i zawsze musi być mierzone: jakość, tokeny, opóźnienie.
Kluczowe wnioski
- Dwa pokrętła: model (Small 4, Large 4) i poziom
reasoning_effort - Small 4 w
nonedo prostych zadań, whighdo wieloetapowych; Large 4 do najtrudniejszych przypadków - Obliczaj koszt każdego ustawienia na podstawie
usagei oficjalnych stawek przed skalowaniem - Router rezerwuje rozumowanie dla zapytań, które na tym skorzystają
- W produkcji: identyfikatory z datą, logowanie zużycia, fallback z Large 4 do Small 4
Sprawdź swoją wiedzę
Pięć pytań validatingych essentials kursu.
1. Jakie wartości `reasoning_effort` akceptuje Mistral Large 4, a którą odrzuca?
Odpowiedź: low, medium i high (dokumentacja rekomenduje high jako punkt wyjścia). Odrzuca none: poziom wcześniej tak nazwany w jego wersji preview nosi teraz nazwę low.
2. Gdzie w odpowiedzi z rozumowaniem znajduje się tekst myślowy?
Odpowiedź: W ThinkChunk (typ thinking) wewnątrz listy message.content. Jego pole thinking jest samo w sobie listą obiektów TextChunk, z których odczytujesz pole text. Ostateczna odpowiedź znajduje się w TextChunk na najwyższym poziomie.
3. Co musisz przywrócić do historii rozmowy wieloturowej w Chat Completions?
Odpowiedź: Pełną wiadomość asystenta, włącznie z fragmentami myślowymi. Usunięcie myślenia oszczędza tokeny, ale znacząco pogarsza jakość kolejnych tur.
4. Twój kod nadal wywołuje `magistral-medium-latest`: co powinieneś zrobić?
Odpowiedź: Przeprowadź migrację natychmiast, ponieważ Magistral został wycofany 31 lipca 2026 r. Celuj w Small 4, jeśli jakość jest wystarczająca, w przeciwnym razie wybierz Large 4 z reasoning_effort="high"; Medium 3.5, wyznaczony zamiennik, jest sam w sobie przestarzały do 30 kwietnia 2027 r. Usuń prompt_mode i szablon myślowy z promptów systemowych.
5. Jak ustawić `reasoning_effort` w agencie Mistral?
Odpowiedź: W polu completion_args agenta, na przykład completion_args={"reasoning_effort": "high"}. W przypadku Conversations API użyj tego samego pola przy każdym start lub append.