Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Izbira ustrezne ravni razmišljanja

Lekcija 12 od 12 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Dva regulatorja namesto niza modelov
  2. Matrika odločanja
  3. Izračunaj, preden skaliraš
  4. Arhitektura usmerjanja
  5. Najboljše prakse za proizvodno okolje
  6. Povzetek tečaja
  7. Ključne ugotovitve
  8. Preveri svoje znanje

Lekcija je bila ponovno napisana 2. novembra 2026. Prej je primerjala „prilagodljivo” razmišljanje modela Mistral Small z „avtohtonim” razmišljanjem modela Magistral, vendar je bil Magistral umaknjen 31. julija 2026. Izbira je zdaj med splošnimi modeli in ravnmi reasoning_effort. Viri: Reasoning · Kartici modelov Small 4 in Large 4.

Dva regulatorja namesto niza modelov

Izbira modela za razmišljanje pri Mistralu je nekoč pomenila izbiro med dvema ločenima nizoma modelov. Danes to pomeni prilagajanje dveh regulatorjev: modela (Small 4 za večino nalog, Large 4 za najtežje primere) in ravni razmišljanja (none ali high pri Small 4; low, medium ali high pri Large 4). Ena sama aplikacija lahko in pogosto mora uporabljati več kombinacij.

Matrika odločanja

SituacijaZačetna nastavitevZakaj
Dejansko vprašanje, preoblikovanje, ekstrakcijaSmall 4, noneNi potrebe po razmisleku: razmišljanje bi le povečalo zakasnitev in porabo žetonov
Večstopenjski izračun, rutinsko odpravljanje napak, preprosta primerjavaSmall 4, highRazmišljanje popravi napake v verigenju ob zmernih stroških
Povzemanje ali preoblikovanje na Large 4Large 4, lowLarge 4 ne sprejme none; low je njegova najbolj gospodarna raven
Analiza po več merilih, načrt selitve, subtilna napakaLarge 4, medium, nato highNajprej preizkusi vmesno raven; po potrebi stopnjuj višje, če kakovost to zahteva
Kritična odločitev (pravna, finančna, medicinska)Large 4, high + preverjanjeRazmišljanje zmanjša napake, a jih ne odpravi popolnoma: potreben je drugi prehod ali človeški pregled

Ta matrika ponuja izhodišča, ne absolutnih resnic: končno odločitev sprejmeš na podlagi lastnih evalvacij. Ne pozabi tudi, da je Large 4 od 2. novembra 2026 v javni predogledni fazi (Public Preview).

Izračunaj, preden skaliraš

Navedene cene (na milijon žetonov, zabeležene 2. novembra 2026) ti omogočajo oceno stroškov nastavitve na podlagi polja usage v odgovorih:

RATES = {  # USD na milijon žetonov: (vhod, izhod)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # opuščeno, umik 30. aprila 2027
}

def cost(response, model):
    """Strošek odgovora, vključno z razmišljanjem (brez popustov za predpomnilnik)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Seštej ta strošek na vrsto zahteve skozi nekaj dni realnega prometa: ta številka ti pove, ali je posplošena nastavitev high vzdržna.

Arhitektura usmerjanja

V realni aplikaciji je večina zahtev preprostih. Plačevanje razmišljanja za te primere ne prinaša vrednosti. Naslednji usmerjevalnik najprej vpraša Small 4 (brez razmišljanja), da oceni kompleksnost vprašanja, nato pa poizvedbo usmeri na ustrezno nastavitev:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Usmeri vsako vprašanje k modelu in ravni razmišljanja."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # konservativna vrednost, če odgovor ni številka

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Klic za razvrščanje stane malo: nekaj deset žetonov na najcenejšem modelu in brez razmišljanja. Prage prilagodi po opazovanju, pri čemer primerjaj kakovost in stroške vsake veje.

Najboljše prakse za proizvodno okolje

Beleži uporabo po vejah. Za vsak odgovor shrani model, raven, usage.prompt_tokens, usage.completion_tokens in zgoraj izračunani strošek. Brez teh številk ne moreš ugotoviti, ali se razmišljanje splača.

Pripni datirane identifikatorje. V proizvodnem okolju uporabi mistral-small-2603 namesto mistral-small-latest: vzdevek (alias) se lahko preklopi na novo različico, ne da bi se tvoja koda spremenila. Te identifikatorje centraliziraj v eni sami konfiguraciji.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Načrtuj nadomestno rešitev. Ker je Large 4 v javni predogledni fazi, te nadomestna rešitev s prehodom na Small 4 v načinu high zaščiti tvojo storitev, če klic odpove. Vse napake HTTP v SDK dedujejo od MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Bodi pozoren na opustitve. Stran z modeli Mistral navaja datume opustitve in umika. Medium 3.5 bo umaknjen 30. aprila 2027: če ga uporabljaš, je rok že določen.

Povzetek tečaja

Razmišljanje modelu daje prostor za razmislek pred odgovorom; pri Mistralu to konfiguriraš na zahtevo s parametrom reasoning_effort, katerega vrednosti so odvisne od modela. Odgovor nato prispe kot fragmenti – razmišljanje in nato odgovor – ki jih moraš znati brati, tudi v načinu pretoka (streaming), in v celoti ponoviti za večkratne pogovore. Agenti in API za pogovore (Conversations API) prenašajo isto nastavitev v completion_args. Magistral je umaknjen: prevzemata ga Small 4 in Large 4, Medium 3.5 pa služi le kot prehodna stopnja. Nazadnje, razmišljanje je upravičeno tam, kjer obstajajo poti za raziskovanje in napake za odkrivanje (matematika, koda, odločitve), in ga je treba vedno meriti: kakovost, žetoni, zakasnitev.

Ključne ugotovitve

  • Dva regulatorja: model (Small 4, Large 4) in raven reasoning_effort
  • Small 4 z none za preproste naloge, z high za večstopenjske; Large 4 za najtežje primere
  • Pred skaliranjem izračunaj vsako nastavitev iz usage in uradnih cen
  • Usmerjevalnik prihrani razmišljanje za poizvedbe, ki imajo od njega korist
  • V proizvodnji: datirani identifikatorji, beleženje uporabe, nadomestna rešitev od Large 4 do Small 4

Preveri svoje znanje

Pet vprašanj za preverjanje bistvenih vsebin tečaja.

1. Katere vrednosti reasoning_effort sprejema Mistral Large 4 in katero zavrača?

Odgovor: low, medium in high (dokumentacija priporoča high kot izhodišče). Zavrača none: raven, ki se je v predogledu imenovala tako, se zdaj imenuje low.

2. Kje se v odgovoru z razmišljanjem nahaja besedilo razmisleka?

Odgovor: V ThinkChunk (tip thinking) znotraj seznama message.content. Njegovo polje thinking je samo seznam objektov TextChunk, iz katerih bereš polje text. Končni odgovor je v TextChunk na najvišji ravni.

3. Kaj moraš vrniti v zgodovino večkratnega pogovora pri Chat Completions?

Odgovor: Celotno sporočilo asistenta, vključno s fragmenti razmišljanja. Odstranitev razmišljanja prihrani žetone, a bistveno poslabša kakovost naslednjih korakov.

4. Tvoja koda še vedno kliče magistral-medium-latest: kaj moraš storiti?

Odgovor: Takoj izvedi selitev, saj je bil Magistral umaknjen 31. julija 2026. Ciljaj na Small 4, če je kakovost zadostna, sicer na Large 4 z reasoning_effort="high"; Medium 3.5, ki je določen kot nadomestilo, je sam po sebi opuščen do 30. aprila 2027. Odstrani prompt_mode in predlogo za razmišljanje iz sistemskih pozivov.

5. Kako nastaviš reasoning_effort v agentu Mistral?

Odgovor: V polju completion_args agenta, na primer completion_args={"reasoning_effort": "high"}. Pri API-ju za pogovore (Conversations API) uporabi isto polje pri vsakem klicu start ali append.