Odabir razine rezoniranja
Na ovoj stranici
Lekcija je ponovno napisana 2. studenoga 2026. Prethodno je uspoređivala „podesivo“ rezoniranje modela Mistral Small s „urođenim“ rezoniranjem modela Magistral, no Magistral je povučen 31. srpnja 2026. Izbor se sada svodi na opće modele i razine
reasoning_effort. Izvori: Reasoning · Kartice modela Small 4 i Large 4.
Dva regulatora umjesto niza modela
Odabir modela za rezoniranje kod Mistrala nekada je značio birati između dva različita niza modela. Danas to znači podesiti dva regulatora: model (Small 4 za većinu zadataka, Large 4 za najteže slučajeve) i razinu rezoniranja (none ili high na Small 4; low, medium ili high na Large 4). Jedna aplikacija može i često bi trebala koristiti više različitih kombinacija.
Matrica odlučivanja
| Situacija | Početna postavka | Zašto |
|---|---|---|
| Činjenično pitanje, preformuliranje, ekstrakcija | Small 4, none | Nema potrebe za razmišljanjem: rezoniranje bi samo povećalo kašnjenje i broj tokena |
| Višekoračni izračun, rutinsko otklanjanje grešaka, jednostavna usporedba | Small 4, high | Rezoniranje ispravlja greške u lancu uz umjeren trošak |
| Sažimanje ili preformuliranje na Large 4 | Large 4, low | Large 4 ne prihvaća none; low je njegova najisplativija razina |
| Analiza s više kriterija, plan migracije, suptilna greška | Large 4, medium pa high | Prvo testiraj srednju razinu; pojačaj ako kvaliteta to zahtijeva |
| Kritična odluka (pravna, financijska, medicinska) | Large 4, high + provjera | Rezoniranje smanjuje greške, ali ih ne eliminira: potreban je drugi prolaz ili ljudska provjera |
Ova matrica daje polazišne točke, a ne apsolutne istine: tvoje vlastite evaluacije su ono što odlučuje. Također imaj na umu da je Large 4 u javnoj probi (Public Preview) od 2. studenoga 2026.
Izračunaj prije skaliranja
Navedene cijene (po milijunu tokena, zabilježene 2. studenoga 2026.) omogućuju ti procjenu troška postavke iz polja usage u odgovorima:
RATES = { # USD po milijunu tokena: (ulaz, izlaz)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # zastarjelo, povlačenje 30. travnja 2027.
}
def cost(response, model):
"""Trošak odgovora, uključujući rezoniranje (bez popusta za predmemoriju)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Zbroji ovaj trošak po vrsti zahtjeva tijekom nekoliko dana stvarnog prometa: ta brojka govori ti je li generalizirana postavka high održiva.
Arhitektura usmjeravanja
U stvarnoj aplikaciji većina zahtjeva je jednostavna. Plaćanje rezoniranja za njih ne donosi vrijednost. Sljedeći usmjerivač (router) prvo pita Small 4, bez rezoniranja, da procijeni složenost pitanja, a zatim usmjerava upit na odgovarajuću postavku:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Usmjerava svako pitanje na model i razinu rezoniranja."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # konzervativna vrijednost ako odgovor nije broj
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Poziv za klasifikaciju malo košta: nekoliko desetaka tokena na najjeftinijem modelu, bez rezoniranja. Prilagodi pragove nakon promatranja, uspoređujući kvalitetu i trošak svake grane.
Najbolje prakse za proizvodnju
Bilježi uporabu po granama. Za svaki odgovor pohrani model, razinu, usage.prompt_tokens, usage.completion_tokens i gore izračunati trošak. Bez ovih brojeva ne možeš utvrditi isplati li se rezoniranje.
Koristi datirane identifikatore. U proizvodnji koristi mistral-small-2603 umjesto mistral-small-latest: alias se može prebaciti na novu verziju bez promjene tvog koda. Centraliziraj ove identifikatore u jedinstvenoj konfiguraciji.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Planiraj rezervnu opciju. Budući da je Large 4 u javnoj probi, rezervna opcija prelaska na Small 4 u načinu high štiti tvoju uslugu ako poziv ne uspije. Sve HTTP greške SDK-a nasljeđuju MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Prati zastarijevanja. Stranica s Mistral modelima navodi datume zastarijevanja i povlačenja. Medium 3.5 bit će povučen 30. travnja 2027.: ako ga koristiš, rok je već određen.
Sažetak tečaja
Rezoniranje daje modelu prostor za razmišljanje prije odgovora; kod Mistrala to konfiguriraš po zahtjevu pomoću reasoning_effort, čije vrijednosti ovise o modelu. Odgovor zatim stiže u fragmentima—razmišljanje pa odgovor—koje moraš znati čitati, uključujući u načinu strujanja (streaming), i u cijelosti reproducirati za višekružne razgovore. Agenti i Conversations API prenose istu postavku u completion_args. Magistral je povučen: Small 4 i Large 4 preuzimaju ulogu, dok Medium 3.5 služi samo kao prijelazni korak. Konačno, rezoniranje je opravdano tamo gdje postoje putevi za istraživanje i greške za uhvatiti (matematika, kod, odluke), i uvijek ga treba mjeriti: kvaliteta, tokeni, kašnjenje.
Ključne točke
- Dva regulatora: model (Small 4, Large 4) i razina
reasoning_effort - Small 4 u
noneza jednostavne zadatke, uhighza višekoračne; Large 4 za najteže slučajeve - Izračunaj svaku postavku iz
usagei službenih cijena prije skaliranja - Usmjerivač rezervira rezoniranje za upite kojima to koristi
- U proizvodnji: datirani identifikatori, bilježenje uporabe, rezervna opcija od Large 4 prema Small 4
Provjeri svoje znanje
Pet pitanja za validaciju bitnih elemenata tečaja.
1. Koje vrijednosti reasoning_effort prihvaća Mistral Large 4, a koju odbija?
Odgovor: low, medium i high (dokumentacija preporučuje high kao polazišnu točku). Odbija none: razina koja se tako zvala u njegovoj probi sada se zove low.
2. Gdje se nalazi tekst razmišljanja u odgovoru s rezoniranjem?
Odgovor: U ThinkChunk (tip thinking) unutar liste message.content. Njegovo polje thinking samo je lista objekata TextChunk, iz kojih čitaš polje text. Konačni odgovor nalazi se u TextChunk na najvišoj razini.
3. Što moraš vratiti u povijest višekružnog razgovora u Chat Completions?
Odgovor: Potpunu poruku asistenta, uključujući fragmente razmišljanja. Uklanjanje razmišljanja štedi tokene, ali značajno narušava kvalitetu narednih krugova.
4. Tvoj kod i dalje poziva magistral-medium-latest: što trebaš učiniti?
Odgovor: Odmah migriraj, jer je Magistral povučen 31. srpnja 2026. Ciljaj Small 4 ako je kvaliteta dovoljna, inače Large 4 s reasoning_effort="high"; Medium 3.5, određena zamjena, sam je zastario do 30. travnja 2027. Ukloni prompt_mode i predložak razmišljanja iz sistemskih upita.
5. Kako postavljaš reasoning_effort u Mistral agentu?
Odgovor: U polju completion_args agenta, na primjer completion_args={"reasoning_effort": "high"}. Kod Conversations API-ja koristi isto polje pri svakom start ili append.