Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Odabir razine rezoniranja

Lekcija 12 od 12 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Dva regulatora umjesto niza modela
  2. Matrica odlučivanja
  3. Izračunaj prije skaliranja
  4. Arhitektura usmjeravanja
  5. Najbolje prakse za proizvodnju
  6. Sažetak tečaja
  7. Ključne točke
  8. Provjeri svoje znanje

Lekcija je ponovno napisana 2. studenoga 2026. Prethodno je uspoređivala „podesivo“ rezoniranje modela Mistral Small s „urođenim“ rezoniranjem modela Magistral, no Magistral je povučen 31. srpnja 2026. Izbor se sada svodi na opće modele i razine reasoning_effort. Izvori: Reasoning · Kartice modela Small 4 i Large 4.

Dva regulatora umjesto niza modela

Odabir modela za rezoniranje kod Mistrala nekada je značio birati između dva različita niza modela. Danas to znači podesiti dva regulatora: model (Small 4 za većinu zadataka, Large 4 za najteže slučajeve) i razinu rezoniranja (none ili high na Small 4; low, medium ili high na Large 4). Jedna aplikacija može i često bi trebala koristiti više različitih kombinacija.

Matrica odlučivanja

SituacijaPočetna postavkaZašto
Činjenično pitanje, preformuliranje, ekstrakcijaSmall 4, noneNema potrebe za razmišljanjem: rezoniranje bi samo povećalo kašnjenje i broj tokena
Višekoračni izračun, rutinsko otklanjanje grešaka, jednostavna usporedbaSmall 4, highRezoniranje ispravlja greške u lancu uz umjeren trošak
Sažimanje ili preformuliranje na Large 4Large 4, lowLarge 4 ne prihvaća none; low je njegova najisplativija razina
Analiza s više kriterija, plan migracije, suptilna greškaLarge 4, medium pa highPrvo testiraj srednju razinu; pojačaj ako kvaliteta to zahtijeva
Kritična odluka (pravna, financijska, medicinska)Large 4, high + provjeraRezoniranje smanjuje greške, ali ih ne eliminira: potreban je drugi prolaz ili ljudska provjera

Ova matrica daje polazišne točke, a ne apsolutne istine: tvoje vlastite evaluacije su ono što odlučuje. Također imaj na umu da je Large 4 u javnoj probi (Public Preview) od 2. studenoga 2026.

Izračunaj prije skaliranja

Navedene cijene (po milijunu tokena, zabilježene 2. studenoga 2026.) omogućuju ti procjenu troška postavke iz polja usage u odgovorima:

RATES = {  # USD po milijunu tokena: (ulaz, izlaz)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # zastarjelo, povlačenje 30. travnja 2027.
}

def cost(response, model):
    """Trošak odgovora, uključujući rezoniranje (bez popusta za predmemoriju)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Zbroji ovaj trošak po vrsti zahtjeva tijekom nekoliko dana stvarnog prometa: ta brojka govori ti je li generalizirana postavka high održiva.

Arhitektura usmjeravanja

U stvarnoj aplikaciji većina zahtjeva je jednostavna. Plaćanje rezoniranja za njih ne donosi vrijednost. Sljedeći usmjerivač (router) prvo pita Small 4, bez rezoniranja, da procijeni složenost pitanja, a zatim usmjerava upit na odgovarajuću postavku:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Usmjerava svako pitanje na model i razinu rezoniranja."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # konzervativna vrijednost ako odgovor nije broj

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Poziv za klasifikaciju malo košta: nekoliko desetaka tokena na najjeftinijem modelu, bez rezoniranja. Prilagodi pragove nakon promatranja, uspoređujući kvalitetu i trošak svake grane.

Najbolje prakse za proizvodnju

Bilježi uporabu po granama. Za svaki odgovor pohrani model, razinu, usage.prompt_tokens, usage.completion_tokens i gore izračunati trošak. Bez ovih brojeva ne možeš utvrditi isplati li se rezoniranje.

Koristi datirane identifikatore. U proizvodnji koristi mistral-small-2603 umjesto mistral-small-latest: alias se može prebaciti na novu verziju bez promjene tvog koda. Centraliziraj ove identifikatore u jedinstvenoj konfiguraciji.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Planiraj rezervnu opciju. Budući da je Large 4 u javnoj probi, rezervna opcija prelaska na Small 4 u načinu high štiti tvoju uslugu ako poziv ne uspije. Sve HTTP greške SDK-a nasljeđuju MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Prati zastarijevanja. Stranica s Mistral modelima navodi datume zastarijevanja i povlačenja. Medium 3.5 bit će povučen 30. travnja 2027.: ako ga koristiš, rok je već određen.

Sažetak tečaja

Rezoniranje daje modelu prostor za razmišljanje prije odgovora; kod Mistrala to konfiguriraš po zahtjevu pomoću reasoning_effort, čije vrijednosti ovise o modelu. Odgovor zatim stiže u fragmentima—razmišljanje pa odgovor—koje moraš znati čitati, uključujući u načinu strujanja (streaming), i u cijelosti reproducirati za višekružne razgovore. Agenti i Conversations API prenose istu postavku u completion_args. Magistral je povučen: Small 4 i Large 4 preuzimaju ulogu, dok Medium 3.5 služi samo kao prijelazni korak. Konačno, rezoniranje je opravdano tamo gdje postoje putevi za istraživanje i greške za uhvatiti (matematika, kod, odluke), i uvijek ga treba mjeriti: kvaliteta, tokeni, kašnjenje.

Ključne točke

  • Dva regulatora: model (Small 4, Large 4) i razina reasoning_effort
  • Small 4 u none za jednostavne zadatke, u high za višekoračne; Large 4 za najteže slučajeve
  • Izračunaj svaku postavku iz usage i službenih cijena prije skaliranja
  • Usmjerivač rezervira rezoniranje za upite kojima to koristi
  • U proizvodnji: datirani identifikatori, bilježenje uporabe, rezervna opcija od Large 4 prema Small 4

Provjeri svoje znanje

Pet pitanja za validaciju bitnih elemenata tečaja.

1. Koje vrijednosti reasoning_effort prihvaća Mistral Large 4, a koju odbija?

Odgovor: low, medium i high (dokumentacija preporučuje high kao polazišnu točku). Odbija none: razina koja se tako zvala u njegovoj probi sada se zove low.

2. Gdje se nalazi tekst razmišljanja u odgovoru s rezoniranjem?

Odgovor: U ThinkChunk (tip thinking) unutar liste message.content. Njegovo polje thinking samo je lista objekata TextChunk, iz kojih čitaš polje text. Konačni odgovor nalazi se u TextChunk na najvišoj razini.

3. Što moraš vratiti u povijest višekružnog razgovora u Chat Completions?

Odgovor: Potpunu poruku asistenta, uključujući fragmente razmišljanja. Uklanjanje razmišljanja štedi tokene, ali značajno narušava kvalitetu narednih krugova.

4. Tvoj kod i dalje poziva magistral-medium-latest: što trebaš učiniti?

Odgovor: Odmah migriraj, jer je Magistral povučen 31. srpnja 2026. Ciljaj Small 4 ako je kvaliteta dovoljna, inače Large 4 s reasoning_effort="high"; Medium 3.5, određena zamjena, sam je zastario do 30. travnja 2027. Ukloni prompt_mode i predložak razmišljanja iz sistemskih upita.

5. Kako postavljaš reasoning_effort u Mistral agentu?

Odgovor: U polju completion_args agenta, na primjer completion_args={"reasoning_effort": "high"}. Kod Conversations API-ja koristi isto polje pri svakom start ili append.