Alegerea nivelului potrivit de raționament
Pe această pagină
Lecție rescrisă la 2 noiembrie 2026. Anterior, aceasta contrasta raționamentul „ajustabil“ al lui Mistral Small cu raționamentul „nativ“ al lui Magistral, însă Magistral a fost retras din serviciu la 31 iulie 2026. Alegerea se face acum între modelele generaliste și nivelurile
reasoning_effort. Surse: Reasoning · Fișele tehnice pentru Small 4 și Large 4.
Două butoane de reglaj în loc de o gamă de modele
Alegerea unui model de raționament la Mistral însemna odinioară selectarea între două game distincte. Astăzi, înseamnă ajustarea a două butoane de reglaj: modelul (Small 4 pentru majoritatea sarcinilor, Large 4 pentru cazurile cele mai dificile) și nivelul de raționament (none sau high la Small 4; low, medium sau high la Large 4). O singură aplicație poate, și adesea ar trebui, să utilizeze multiple combinații.
Matricea de decizie
| Situație | Configurare inițială | De ce |
|---|---|---|
| Întrebare factuală, reformulare, extragere | Small 4, none | Nimic de deliberat: raționamentul ar adăuga doar latență și tokeni |
| Calcul în mai mulți pași, depanare de rutină, comparație simplă | Small 4, high | Raționamentul corectează erorile de înlănțuire cu un cost modest |
| Rezumat sau reformulare pe Large 4 | Large 4, low | Large 4 nu acceptă none; low este nivelul său cel mai economic |
| Analiză multicriterială, plan de migrare, bug subtil | Large 4, medium apoi high | Testați mai întâi nivelul intermediar; creșteți nivelul dacă calitatea o impune |
| Decizie critică (juridică, financiară, medicală) | Large 4, high + verificare | Raționamentul reduce erorile, dar nu le elimină: o a doua trecere sau o revizuire umană rămân necesare |
Această matrice oferă puncte de plecare, nu adevăruri absolute: propriile dumneavoastră evaluări decid. Rețineți, de asemenea, că Large 4 se află în Public Preview începând cu 2 noiembrie 2026.
Calculați înainte de a scala
Tarifele listate (per milion de tokeni, înregistrate la 2 noiembrie 2026) vă permit să estimați costul unei configurări din câmpul usage al răspunsurilor:
RATES = { # USD per million tokens: (input, output)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # deprecated, retirement on April 30, 2027
}
def cost(response, model):
"""Cost of a response, including reasoning (excluding cache discounts)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Însumați acest cost pe tip de cerere pe parcursul a câtorva zile de trafic real: această cifră vă indică dacă o setare generalizată high este sustenabilă.
O arhitectură de rutare
Într-o aplicație reală, majoritatea cererilor sunt simple. Plata pentru raționament în aceste cazuri nu aduce nicio valoare. Routerul de mai jos interoghează mai întâi Small 4, fără raționament, pentru a estima complexitatea întrebării, apoi direcționează interogarea către configurarea adecvată:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Routes each question to a model and a reasoning level."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # conservative value if the response isn't a number
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Apelul de clasificare costă puțin: câteva zeci de tokeni pe cel mai ieftin model, fără raționament. Ajustați pragurile după observație, comparând calitatea și costul fiecărei ramuri.
Cele mai bune practici pentru producție
Jurnalizați utilizarea pe ramuri. Pentru fiecare răspuns, stocați modelul, nivelul, usage.prompt_tokens, usage.completion_tokens și costul calculat mai sus. Fără aceste numere, nu puteți stabili dacă raționamentul merită investiția.
Fixați identificatorii datați. În producție, utilizați mistral-small-2603 în loc de mistral-small-latest: un alias poate comuta către o nouă versiune fără ca dumneavoastră să modificați codul. Centralizați acești identificatori într-o singură configurație.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Planificați o soluție de rezervă (fallback). Deoarece Large 4 se află în Public Preview, un fallback către Small 4 în modul high vă protejează serviciul dacă apelul eșuează. Toate erorile HTTP SDK moștenesc de la MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Fiți atenți la deprecieri. Pagina modelelor Mistral listează datele de deprecieri și retragere. Medium 3.5 va fi retras la 30 aprilie 2027: dacă îl utilizați, termenul limită este deja stabilit.
Rezumatul cursului
Raționamentul oferă modelului un spațiu pentru a gândi înainte de a răspunde; la Mistral, configurați acest lucru per cerere cu reasoning_effort, ale cărui valori depind de model. Răspunsul sosește apoi sub formă de fragmente—gândire apoi răspuns—pe care trebuie să știți să le citiți, inclusiv în modul streaming, și să le redați integral pentru conversațiile multi-tur. Agenții și API-ul Conversations poartă aceeași setare în completion_args. Magistral este retras: Small 4 și Large 4 preiau ștafeta, iar Medium 3.5 servește doar ca pas de tranziție. În final, raționamentul este justificat acolo unde există căi de explorat și erori de prins (matematică, cod, decizii) și trebuie întotdeauna măsurat: calitate, tokeni, latență.
Puncte cheie
- Două butoane de reglaj: modelul (Small 4, Large 4) și nivelul
reasoning_effort - Small 4 în
nonepentru sarcini simple, înhighpentru pași multipli; Large 4 pentru cazurile cele mai dificile - Calculați fiecare setare din
usageși tarifele oficiale înainte de a o scala - Un router rezervă raționamentul pentru interogările care beneficiază de acesta
- În producție: identificatori datați, jurnalizare a utilizării, fallback de la Large 4 la Small 4
Testați-vă cunoștințele
Cinci întrebări pentru a valida elementele esențiale ale cursului.
1. Ce valori reasoning_effort acceptă Mistral Large 4 și pe care o respinge?
Răspuns: low, medium și high (documentația recomandă high ca punct de plecare). Respinge none: nivelul numit anterior astfel în versiunea sa preview se numește acum low.
2. Unde se află textul de gândire într-un răspuns cu raționament?
Răspuns: Într-un ThinkChunk (tip thinking) din lista message.content. Câmpul său thinking este el însuși o listă de obiecte TextChunk, din care citiți câmpul text. Răspunsul final se află într-un TextChunk de nivel superior.
3. Ce trebuie să reintroduceți în istoricul unei conversații multi-tur în Chat Completions?
Răspuns: Mesajul complet al asistentului, inclusiv fragmentele de gândire. Eliminarea gândirii economisește tokeni, dar degradează semnificativ calitatea tururilor ulterioare.
4. Codul dumneavoastră apelează încă magistral-medium-latest: ce trebuie să faceți?
Răspuns: Migrați imediat, deoarece Magistral a fost retras la 31 iulie 2026. Vizați Small 4 dacă calitatea este suficientă, altfel Large 4 cu reasoning_effort="high"; Medium 3.5, înlocuitorul desemnat, este el însuși depreciați până la 30 aprilie 2027. Eliminați prompt_mode și șablonul de gândire din prompturile de sistem.
5. Cum setați reasoning_effort într-un agent Mistral?
Răspuns: În câmpul completion_args al agentului, de exemplu completion_args={"reasoning_effort": "high"}. Cu API-ul Conversations, utilizați același câmp la fiecare start sau append.