Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Výber správnej úrovne usudzovania

Lekcia 12 z 12 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Dva ovládače namiesto radu modelov
  2. Rozhodovacia matica
  3. Najprv spočítaj, až potom škáluj
  4. Architektúra smerovania
  5. Najlepšie postupy pre produkciu
  6. Zhrnutie kurzu
  7. Kľúčové poznatky
  8. Over si svoje vedomosti

Lekcia bola prepísaná 2. novembra 2026. Predtým porovnávala „nastaviteľné“ usudzovanie modelu Mistral Small s „natívnym“ usudzovaním modelu Magistral, no Magistral bol vyradený 31. júla 2026. Rozhodovanie teraz prebieha medzi všeobecnými modelmi a úrovňami reasoning_effort. Zdroje: Reasoning · Karty modelov Small 4 a Large 4.

Dva ovládače namiesto radu modelov

Výber modelu na usudzovanie v Mistrale kedysi znamenal výber medzi dvoma odlišnými radmi. Dnes to znamená nastavenie dvoch ovládačov: modelu (Small 4 pre väčšinu úloh, Large 4 pre najnáročnejšie prípady) a úrovne usudzovania (none alebo high pri Small 4; low, medium alebo high pri Large 4). Jediná aplikácia môže a často by mala využívať viacero kombinácií.

Rozhodovacia matica

SituáciaPočiatočné nastaveniePrečo
Faktografická otázka, preformulovanie, extrakciaSmall 4, noneNiet nad čím uvažovať: usudzovanie by len zvýšilo latenciu a spotrebu tokenov
Viackrokový výpočet, bežné ladenie, jednoduché porovnanieSmall 4, highUsudzovanie opravuje chyby v reťazení za mierny náklad
Zhrnutie alebo preformulovanie na Large 4Large 4, lowLarge 4 neprijíma none; low je jeho najúspornejšia úroveň
Analýza podľa viacerých kritérií, plán migrácie, zložitá chybaLarge 4, medium, potom highNajprv otestuj strednú úroveň; ak kvalita vyžaduje, prejdite na vyššiu
Kritické rozhodnutie (právne, finančné, zdravotné)Large 4, high + overenieUsudzovanie znižuje chyby, ale neodstraňuje ich úplne: druhý prechod alebo ľudská kontrola zostáva nevyhnutná

Táto matica poskytuje východiskové body, nie absolútne pravdy: rozhodujú tvoje vlastné hodnotenia. Pamätaj tiež, že Large 4 je od 2. novembra 2026 vo fáze verejnej ukážky (Public Preview).

Najprv spočítaj, až potom škáluj

Uvedené sadzby (na milión tokenov, zaznamenané k 2. novembru 2026) ti umožňujú odhadnúť náklady nastavenia z poľa usage v odpovediach:

RATES = {  # USD za milión tokenov: (vstup, výstup)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # zastarané, vyradenie 30. apríla 2027
}

def cost(response, model):
    """Náklady na odpoveď vrátane usudzovania (bez zliav za cache)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Spočítaj tieto náklady podľa typu požiadavky počas niekoľkých dní reálnej premávky: toto číslo ti povie, či je generalizované nastavenie high udržateľné.

Architektúra smerovania

V reálnej aplikácii je väčšina požiadaviek jednoduchá. Platenie za usudzovanie v týchto prípadoch neprináša žiadnu hodnotu. Nasledujúci smerovač najprv požiada Small 4 (bez usudzovania) o odhad zložitosti otázky a následne smeruje dopyt na vhodné nastavenie:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Smeruje každú otázku na model a úroveň usudzovania."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # konzervatívna hodnota, ak odpoveď nie je číslo

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Volanie na klasifikáciu stojí málo: niekoľko desiatok tokenov na najlacnejšom modeli a bez usudzovania. Prahové hodnoty uprav po pozorovaní porovnaním kvality a nákladov jednotlivých vetiev.

Najlepšie postupy pre produkciu

Loguj využitie podľa vetvy. Pre každú odpoveď ulož model, úroveň, usage.prompt_tokens, usage.completion_tokens a vyššie vypočítané náklady. Bez týchto čísel nezistíš, či sa usudzovanie oplatí.

Pripni identifikátory s dátumom. V produkcii používaj mistral-small-2603 namiesto mistral-small-latest: alias sa môže prepnuť na novú verziu bez zmeny tvojho kódu. Centralizuj tieto identifikátory v jednej konfigurácii.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Plánuj záložné riešenie. Keďže Large 4 je vo verejnej ukážke, záložný prechod na Small 4 v režime high ochráni tvoju službu pri zlyhaní volania. Všetky HTTP chyby SDK dedia z MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Sleduj zastarania. Stránka modelov Mistral uvádza dátumy zastarania a vyradenia. Medium 3.5 bude vyradený 30. apríla 2027: ak ho používaš, termín je už stanovený.

Zhrnutie kurzu

Usudzovanie dáva modelu priestor na premyslenie pred odpoveďou; v Mistrale to konfiguruješ pre každú požiadavku pomocou reasoning_effort, ktorého hodnoty závisia od modelu. Odpoveď potom prichádza ako fragmenty – najprv myslenie, potom odpoveď – ktoré musíš vedieť čítať, a to aj v režime streamovania, a úplne ich reprodukovať pre viacnásobné konverzácie. Agenti a Conversations API prenášajú rovnaké nastavenie v completion_args. Magistral je vyradený: preberajú ho Small 4 a Large 4, pričom Medium 3.5 slúži len ako prechodný krok. Nakoniec, usudzovanie je opodstatnené tam, kde existujú cesty na preskúmanie a chyby na zachytenie (matematika, kód, rozhodovania), a musí byť vždy merané: kvalita, tokeny, latencia.

Kľúčové poznatky

  • Dva ovládače: model (Small 4, Large 4) a úroveň reasoning_effort
  • Small 4 v none pre jednoduché úlohy, v high pre viackrokové; Large 4 pre najnáročnejšie prípady
  • Pred škálovaním vypočítaj náklady každého nastavenia z usage a oficiálnych sadzieb
  • Smerovač vyhradzuje usudzovanie pre dopyty, ktoré z neho majú úžitok
  • V produkcii: identifikátory s dátumom, logovanie využitia, záložný prechod z Large 4 na Small 4

Over si svoje vedomosti

Päť otázok na overenie základných poznatkov z kurzu.

1. Aké hodnoty reasoning_effort prijíma Mistral Large 4 a ktorú odmieta?

Odpoveď: low, medium a high (dokumentácia odporúča high ako východiskový bod). Odmieta none: úroveň, ktorá sa tak nazývala v jeho ukážkovej fáze, sa teraz nazýva low.

2. Kde sa v odpovedi s usudzovaním nachádza text myslenia?

Odpoveď: V ThinkChunk (typ thinking) v zozname message.content. Jeho pole thinking je samo o sebe zoznam objektov TextChunk, z ktorých čítaš pole text. Konečná odpoveď sa nachádza v TextChunk na najvyššej úrovni.

3. Čo musíš vrátiť späť do histórie viacnásobnej konverzácie v Chat Completions?

Odpoveď: Celú správu asistenta vrátane fragmentov myslenia. Odstránenie myslenia šetrí tokeny, ale výrazne zhoršuje kvalitu následných kôl.

4. Tvoj kód stále volá magistral-medium-latest: čo máš robiť?

Odpoveď: Okamžite migruj, keďže Magistral bol vyradený 31. júla 2026. Cieli na Small 4, ak kvalita stačí, inak na Large 4 s reasoning_effort="high"; Medium 3.5, určená náhrada, je sám o sebe zastaraný do 30. apríla 2027. Odstráň prompt_mode a šablónu myslenia zo systémových výziev.

5. Ako nastavíš reasoning_effort v agente Mistral?

Odpoveď: V poli completion_args agenta, napríklad completion_args={"reasoning_effort": "high"}. Pri Conversations API použij rovnaké pole pri každom start alebo append.