Välja rätt resonemangsnivå
På denna sida
Lektionen omskriven den 2 november 2026. Tidigare ställdes Mistral Smalls “justerbara” resonemang mot Magistrals “inbyggda” resonemang, men Magistral togs ur bruk den 31 juli 2026. Valet står nu mellan generalistmodeller och nivåer för
reasoning_effort. Källor: Reasoning · Small 4 och Large 4 modellkort.
Två reglage istället för en modellportfölj
Att välja en resonemangsmodell hos Mistral betydde förr att plocka mellan två distinkta portföljer. Idag handlar det om att justera två reglage: modellen (Small 4 för de flesta uppgifter, Large 4 för de svåraste fallen) och resonemangsnivån (none eller high på Small 4; low, medium eller high på Large 4). En enda applikation kan, och bör ofta, använda flera kombinationer.
Beslutsmatrisen
| Situation | Startinställning | Varför |
|---|---|---|
| Faktuell fråga, omformulering, extrahering | Small 4, none | Inget att fundera över: resonemang skulle bara lägga till latens och tokens |
| Flerstegsberäkning, rutinmässig felsökning, enkel jämförelse | Small 4, high | Resonemang korrigerar kedjefel till en blygsam kostnad |
| Sammanfattning eller omformulering på Large 4 | Large 4, low | Large 4 accepterar inte none; low är dess mest ekonomiska nivå |
| Analys med flera kriterier, migrationsplan, subtil bugg | Large 4, medium sedan high | Testa mellanläget först; höj nivån om kvaliteten kräver det |
| Kritiskt beslut (juridiskt, finansiellt, medicinskt) | Large 4, high + verifiering | Resonemang minskar fel men eliminerar dem inte: en andra genomgång eller mänsklig granskning krävs fortfarande |
Denna matris ger startpunkter, inte absoluta sanningar: dina egna utvärderingar avgör. Kom också ihåg att Large 4 befinner sig i Public Preview från och med den 2 november 2026.
Räkna innan du skalar upp
De listade priserna (per miljon tokens, registrerade den 2 november 2026) låter dig uppskatta kostnaden för en inställning utifrån fältet usage i svaren:
RATES = { # USD per miljon tokens: (input, output)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # avskriven, tas ur bruk 30 april 2027
}
def cost(response, model):
"""Kostnad för ett svar, inklusive resonemang (exklusive cache-rabatter)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Summera denna kostnad per förfrågningstyp över några dagars riktig trafik: den siffran berättar om en generaliserad high-inställning är hållbar.
En routningsarkitektur
I en riktig applikation är de flesta förfrågningar enkla. Att betala för resonemang på dessa tillför inget värde. Följande router frågar först Small 4, utan resonemang, för att uppskatta frågans komplexitet, och dirigerar sedan frågan till lämplig inställning:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Routar varje fråga till en modell och en resonemangsnivå."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Betygsätt komplexiteten i denna fråga från 0 till 10. Svara endast med talet: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # konservativt värde om svaret inte är ett tal
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Klassificeringsanropet kostar lite: några dussin tokens på den billigaste modellen, utan resonemang. Justera tröskelvärdena efter observation, genom att jämföra kvalitet och kostnad för varje gren.
Bästa praxis för produktion
Logga användning per gren. För varje svar lagrar du modellen, nivån, usage.prompt_tokens, usage.completion_tokens och den beräknade kostnaden ovan. Utan dessa siffror kan du inte avgöra om resonemang lönar sig.
Lås daterade identifierare. I produktion använder du mistral-small-2603 snarare än mistral-small-latest: en alias kan växla till en ny version utan att din kod ändras. Centralisera dessa identifierare i en enda konfiguration.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Planera en reservlösning. Eftersom Large 4 befinner sig i Public Preview skyddar en reservlösning till Small 4 i high-läge din tjänst om anropet misslyckas. Alla SDK HTTP-fel ärver från MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Håll utkik efter avskrivningar. Sidan för Mistral-modeller listar datum för avskrivning och urdrifttagande. Medium 3.5 tas ur bruk den 30 april 2027: om du använder den är deadline redan satt.
Sammanfattning av kursen
Resonemang ger modellen utrymme att tänka innan den svarar; hos Mistral konfigurerar du detta per förfrågan med reasoning_effort, vars värden beror på modellen. Svaret kommer sedan som fragment – tänkande följt av svar – som du måste kunna läsa, även i strömningsläge, och spela upp i sin helhet för flerstegssamtal. Agenter och Conversations API bär samma inställning i completion_args. Magistral är avskriven: Small 4 och Large 4 tar över, medan Medium 3.5 endast tjänar som ett övergångssteg. Slutligen är resonemang motiverat där det finns vägar att utforska och fel att fånga (matematik, kod, beslut), och det måste alltid mätas: kvalitet, tokens, latens.
Viktiga punkter
- Två reglage: modellen (Small 4, Large 4) och nivån för
reasoning_effort - Small 4 i
noneför enkla uppgifter, ihighför flerstegs; Large 4 för de svåraste fallen - Beräkna varje inställning utifrån
usageoch officiella priser innan du skalar upp - En router reserverar resonemang för förfrågningar som drar nytta av det
- I produktion: daterade identifierare, loggning av användning, reservlösning från Large 4 till Small 4
Testa dina kunskaper
Fem frågor för att validera kursens väsentliga delar.
1. Vilka värden för reasoning_effort accepterar Mistral Large 4, och vilket avvisar den?
Svar: low, medium och high (dokumentationen rekommenderar high som startpunkt). Den avvisar none: nivån som tidigare hette så i dess förhandsversion heter nu low.
2. Var finns tänketexten i ett svar med resonemang?
Svar: I en ThinkChunk (typ thinking) inom listan message.content. Dess fält thinking är i sig en lista med TextChunk-objekt, från vilka du läser fältet text. Det slutgiltiga svaret finns i en TextChunk på toppnivå.
3. Vad måste du lägga tillbaka i historiken för ett flerstegssamtal i Chat Completions?
Svar: Assistents kompletta meddelande, inklusive tänkefragment. Att ta bort tänkandet sparar tokens men försämrar kvaliteten på efterföljande steg avsevärt.
4. Din kod anropar fortfarande magistral-medium-latest: vad bör du göra?
Svar: Migrera omedelbart, eftersom Magistral togs ur bruk den 31 juli 2026. Sikta på Small 4 om kvaliteten räcker, annars Large 4 med reasoning_effort="high"; Medium 3.5, den utsedda ersättaren, är i sig avskriven fram till den 30 april 2027. Ta bort prompt_mode och tänkemallen från systemprompter.
5. Hur ställer du in reasoning_effort i en Mistral-agent?
Svar: I agentens fält completion_args, till exempel completion_args={"reasoning_effort": "high"}. Med Conversations API använder du samma fält vid varje start eller append.