Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

A megfelelő következtetési szint kiválasztása

12. lecke 12 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. Két szabályozó a modellsor helyett
  2. Döntési mátrix
  3. Számolj, mielőtt skálázol
  4. Egy útválasztó architektúra
  5. Bevált gyakorlatok éles környezetben
  6. A kurzus összefoglalása
  7. Főbb megállapítások
  8. Teszteld a tudásod

Lecke átírva: 2026. november 2. Korábban a Mistral Small „állítható“ következtetését állította szembe a Magistral „natív“ következtetésével, de a Magistral szolgáltatását 2026. július 31-én megszüntették. A választás ma az általános célú modellek és a reasoning_effort szintek között van. Források: Reasoning · Small 4 és Large 4 modellkártyák.

Két szabályozó a modellsor helyett

A Mistralnál a következtetési modell kiválasztása korábban két különálló modellsor közötti választást jelentett. Ma ez két szabályozó beállítását jelenti: a modellt (Small 4 a legtöbb feladathoz, Large 4 a legnehezebb esetekhez) és a következtetési szintet (none vagy high a Small 4 esetén; low, medium vagy high a Large 4 esetén). Egyetlen alkalmazásnak is érdemes – és gyakran kell is – több kombinációt használnia.

Döntési mátrix

HelyzetKiindulási beállításMiért
Ténykereső kérdés, átfogalmazás, kinyerésSmall 4, noneNincs mit mérlegelni: a következtetés csak a késleltetést és a tokenek számát növelné
Több lépéses számítás, rutin hibakeresés, egyszerű összehasonlításSmall 4, highA következtetés korrigálja a láncolási hibákat mérsékelt költséggel
Összefoglalás vagy átfogalmazás a Large 4-gyelLarge 4, lowA Large 4 nem fogadja el a none értéket; a low a leggazdaságosabb szintje
Több szempontú elemzés, migrációs terv, finom hibaLarge 4, medium, majd highElőször teszteld a köztes szintet; ha a minőség megköveteli, lépj feljebb
Kritikus döntés (jogi, pénzügyi, orvosi)Large 4, high + ellenőrzésA következtetés csökkenti a hibákat, de nem szünteti meg őket: második kör vagy emberi ellenőrzés továbbra is szükséges

Ez a mátrix kiindulópontokat ad, nem abszolút igazságokat: a saját értékeléseid döntenek. Ne feledd azt sem, hogy a Large 4 2026. november 2-tól nyilvános előzetes verzióban (Public Preview) érhető el.

Számolj, mielőtt skálázol

A felsorolt díjak (millió tokenenként, rögzítve: 2026. november 2.) lehetővé teszik, hogy a válaszok usage mezőjéből megbecsüld egy beállítás költségét:

RATES = {  # USD per million tokens: (input, output)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # deprecated, retirement on April 30, 2027
}

def cost(response, model):
    """Cost of a response, including reasoning (excluding cache discounts)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Add össze ezt a költséget kéréstípusonként néhány nap valós forgalma alapján: ez a szám megmutatja, hogy egy általánosított high beállítás fenntartható-e.

Egy útválasztó architektúra

Egy valós alkalmazásban a kérések többsége egyszerű. Ha ezekért fizetsz következtetést, az nem hoz plusz értéket. Az alábbi útválasztó először megkérdezi a Small 4 modellt (következtetés nélkül) a kérdés összetettségéről, majd a megfelelő beállításra irányítja a lekérdezést:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Routes each question to a model and a reasoning level."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # conservative value if the response isn't a number

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Az osztályozási hívás költsége csekély: néhány tucat token a legolcsóbb modellen, következtetés nélkül. Állítsd be a küszöbértékeket megfigyelés után, összehasonlítva az egyes ágak minőségét és költségét.

Bevált gyakorlatok éles környezetben

Naplózd a használatot ágak szerint. Minden válaszhoz mentsd el a modellt, a szintet, a usage.prompt_tokens, a usage.completion_tokens értékeket és a fent kiszámolt költséget. Ezen számok nélkül nem tudod megállapítani, hogy a következtetés megtérül-e.

Rögzíts dátumozott azonosítókat. Éles környezetben a mistral-small-latest helyett a mistral-small-2603 használandó: egy alias átállhat egy új verzióra a kódod módosítása nélkül. Centralizáld ezeket az azonosítókat egyetlen konfigurációs fájlban.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Tervezz tartalék megoldást. Mivel a Large 4 nyilvános előzetes verzióban van, egy Small 4-re való visszaállás high módban megvédi a szolgáltatásodat, ha a hívás meghiúsul. Az összes SDK HTTP-hiba a MistralError-ből öröklődik:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Figyeld a deprecated státuszokat. A Mistral modellek oldala felsorolja a deprecated és megszüntetési dátumokat. A Medium 3.5 szolgáltatását 2027. április 30-án szüntetik meg: ha használod, a határidő már adott.

A kurzus összefoglalása

A következtetés teret biztosít a modellnek a gondolkodásra a válaszadás előtt; a Mistralnál ezt kérésenként konfigurálod a reasoning_effort paraméterrel, amelynek értékei modelltől függenek. A válasz ezután töredékekként érkezik – gondolkodás, majd válasz –, amit tudnod kell olvasni, streaming módban is, és teljes egészében visszajátszani több körös beszélgetésekhez. Az ügynökök (Agents) és a Conversations API ugyanazt a beállítást viszik tovább a completion_args mezőben. A Magistral megszűnt: a Small 4 és a Large 4 veszi át a helyét, a Medium 3.5 pedig csak átmeneti lépésként szolgál. Végezetül, a következtetés ott indokolt, ahol bejárandó utak és elkapandó hibák vannak (matek, kód, döntések), és ezt mindig mérni kell: minőség, tokenek, késleltetés.

Főbb megállapítások

  • Két szabályozó: a modell (Small 4, Large 4) és a reasoning_effort szint
  • Small 4 none módban egyszerű feladatokhoz, high módban több lépésesekhez; Large 4 a legnehezebb esetekre
  • Minden beállítást számolj ki a usage és a hivatalos díjak alapján, mielőtt skálázod
  • Egy útválasztó fenntartja a következtetést azoknak a lekérdezéseknek, amelyeknek hasznára válik
  • Éles környezetben: dátumozott azonosítók, használati naplózás, tartalék megoldás Large 4-ről Small 4-re

Teszteld a tudásod

Öt kérdés a tananyag alapvető elemeinek ellenőrzésére.

1. Milyen reasoning_effort értékeket fogad el a Mistral Large 4, és melyiket utasítja el?

Válasz: low, medium és high (a dokumentáció a high értéket javasolja kiindulópontként). Elutasítja a none értéket: az előzetes verzióban így nevezett szintet mostantól low-nak hívják.

2. Hol található a gondolkodási szöveg egy következtetést tartalmazó válaszban?

Válasz: Egy ThinkChunk-ban (típus: thinking) a message.content listán belül. Ennek thinking mezője maga is egy TextChunk objektumokból álló lista, ahonnan a text mezőt olvasod ki. A végső válasz egy felső szintű TextChunk-ban található.

3. Mit kell visszahelyezned egy több körös beszélgetés előzményeibe a Chat Completions használatakor?

Válasz: Az asszisztens teljes üzenetét, beleértve a gondolkodási töredékeket is. A gondolkodás eltávolítása tokeneket spórol, de jelentősen rontja a következő körök minőségét.

4. A kódod még mindig a magistral-medium-latest-et hívja meg: mit kell tenned?

Válasz: Azonnal migrálj, mivel a Magistral szolgáltatását 2026. július 31-én megszüntették. Célozd meg a Small 4-et, ha a minőség megfelelő, ellenkező esetben a Large 4-et reasoning_effort="high" beállítással; a kijelölt utód, a Medium 3.5 maga is deprecated státuszban van 2027. április 30-ig. Távolítsd el a prompt_mode paramétert és a gondolkodási sablont a rendszerüzenetekből (system prompts).

5. Hogyan állítod be a reasoning_effort értéket egy Mistral ügynöknél?

Válasz: Az ügynök completion_args mezőjében, például: completion_args={"reasoning_effort": "high"}. A Conversations API használatakor ugyan ezt a mezőt használd minden start vagy append hívásnál.