Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Pasirinkti tinkamą samprotavimo lygį

Paskaita 12 iš 12 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Du valdikliai vietoj modelių eilutės
  2. Sprendimų matrica
  3. Paskaičiuokite prieš didindami mastelį
  4. Maršrutizavimo architektūra
  5. Geriausios gamybos praktikos
  6. Kurso santrauka
  7. Svarbiausi punktai
  8. Patikrinkite savo žinias

Pamoka perrašyta 2026 m. lapkričio 2 d. Anksčiau joje buvo lyginamas „Mistral Small“ „reguliuojamas“ samprotavimas su „Magistral“ „gimtuoju“ samprotavimu, tačiau „Magistral“ buvo nutrauktas 2026 m. liepos 31 d. Dabar pasirinkimas yra tarp bendrosios paskirties modelių ir reasoning_effort lygių. Šaltiniai: Samprotavimas · Small 4 ir Large 4 modelių kortelės.

Du valdikliai vietoj modelių eilutės

Anksčiau, norint pasirinkti samprotavimo modelį „Mistral“, reikėdavo rinktis iš dviejų atskirų modelių eilučių. Šiandien tai reiškia dviejų valdiklių derinimą: modelio („Small 4“ daugumai užduočių, „Large 4“ sunkiausiems atvejams) ir samprotavimo lygio (none arba high ties „Small 4“; low, medium arba high ties „Large 4“). Viena programa gali ir dažnai turėtų naudoti kelis derinius.

Sprendimų matrica

SituacijaPradinis nustatymasKodėl
Faktinis klausimas, performulavimas, ištraukimasSmall 4, noneNėra ko svarstyti: samprotavimas tik pridėtų delsos ir sunaudotų daugiau žetonų
Daugiažingsnis skaičiavimas, įprastas derinimas, paprastas palyginimasSmall 4, highSamprotavimas ištaiso grandininės grandinės klaidas už nedidelę kainą
Apibendrinimas arba performulavimas naudojant Large 4Large 4, low„Large 4“ nepriima none; low yra ekonomiškiausias jo lygis
Daugiakriterinė analizė, migracijos planas, subtili klaidaLarge 4, medium, tada highPirmiausia išbandykite tarpinį lygį; jei kokybės nepakanka, pereikite prie aukštesnio
Kritinis sprendimas (teisinis, finansinis, medicininis)Large 4, high + patikrinimasSamprotavimas sumažina klaidas, bet jų nepašalina visiškai: vis tiek reikia antrojo paso arba žmogaus peržiūros

Ši matrica pateikia pradinius taškus, o ne absoliučias tiesas: galutinį sprendimą lemia jūsų pačių įvertinimai. Taip pat atminkite, kad „Large 4“ nuo 2026 m. lapkričio 2 d. yra viešojo peržiūros („Public Preview“) etape.

Paskaičiuokite prieš didindami mastelį

Nurodyti tarifai (už milijoną žetonų, užfiksuoti 2026 m. lapkričio 2 d.) leidžia įvertinti nustatymo kainą pagal atsakymų lauką usage:

RATES = {  # USD už milijoną žetonų: (įvestis, išvestis)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # pasenusi, nutraukimas 2027 m. balandžio 30 d.
}

def cost(response, model):
    """Atsakymo kaina, įskaitant samprotavimą (neįskaitant talpyklos nuolaidų)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Sudėkite šią kainą pagal užklausų tipus per kelias realaus srauto dienas: ši figūra parodys, ar apibendrintas high nustatymas yra tvarus.

Maršrutizavimo architektūra

Realioje programoje dauguma užklausų yra paprastos. Mokėjimas už samprotavimą tokiais atvejais neprideda vertės. Toliau pateiktas maršrutizatorius pirmiausia paprašo „Small 4“ (be samprotavimo) įvertinti klausimo sudėtingumą, o tada nukreipia užklausą į tinkamą nustatymą:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Kiekvieną klausimą nukreipia į modelį ir samprotavimo lygį."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Įvertinkite šio klausimo sudėtingumą nuo 0 iki 10. Atsakykite tik skaičiumi: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # konservatyvi vertė, jei atsakymas nėra skaičius

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Klasifikavimo užklausa kainuoja nedaug: keliasdešimt žetonų pigiausiame modelyje ir be samprotavimo. Po stebėjimo pakoreguokite slenkstines vertes, palygindami kiekvienos šakos kokybę ir kainą.

Geriausios gamybos praktikos

Registruokite naudojimą pagal šakas. Kiekvienam atsakymui saugokite modelį, lygį, usage.prompt_tokens, usage.completion_tokens ir aukščiau apskaičiuotą kainą. Be šių skaičių negalėsite nustatyti, ar samprotavimas atsiperka.

Naudokite datuotus identifikatorius. Gamyboje naudokite mistral-small-2603, o ne mistral-small-latest: aliasas gali perjungti naują versiją nepakeitus jūsų kodo. Centralizuokite šiuos identifikatorius vienoje konfigūracijoje.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Numatykite atsarginį variantą. Kadangi „Large 4“ yra viešojo peržiūros etape, atsarginis perėjimas prie „Small 4“ režimu high apsaugo jūsų tarnybą, jei užklausa nepavyktų. Visos SDK HTTP klaidos paveldimos iš MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Stebėkite pasenusias versijas. „Mistral“ modelių puslapyje nurodytos pasenusimo ir nutraukimo datos. „Medium 3.5“ bus nutrauktas 2027 m. balandžio 30 d.: jei jį naudojate, terminas jau yra nustatytas.

Kurso santrauka

Samprotavimas suteikia modeliui erdvės pagalvoti prieš atsakant; „Mistral“ sistemoje tai konfigūruojate kiekvienai užklausai naudodami reasoning_effort, kurio reikšmės priklauso nuo modelio. Tada atsakymas atkeliauja fragmentais – pirmiausia mąstymas, tada atsakymas – ir jūs turite mokėti juos perskaityti, įskaitant srautiniu režimu, bei visiškai atkurti daugiapakopiams pokalbiams. Agentai ir „Conversations API“ tą patį nustatymą perduoda lauke completion_args. „Magistral“ nutrauktas: jį pakeitė „Small 4“ ir „Large 4“, o „Medium 3.5“ tarnauja tik kaip pereinamasis etapas. Galiausiai, samprotavimas yra pateisinamas ten, kur reikia naršyti kelius ir gaudyti klaidas (matematika, kodas, sprendimai), ir jis visada turi būti matuojamas: kokybė, žetonai, delsa.

Svarbiausi punktai

  • Du valdikliai: modelis („Small 4“, „Large 4“) ir reasoning_effort lygis
  • „Small 4“ su none paprastoms užduotims, su high – daugiažingsnėms; „Large 4“ – sunkiausiems atvejams
  • Prieš didindami mastelį, apskaičiuokite kiekvieno nustatymo kainą iš usage ir oficialių tarifų
  • Maršrutizatorius rezervuoja samprotavimą tik toms užklausoms, kurioms jis naudingas
  • Gamyboje: datuoti identifikatoriai, naudojimo registravimas, atsarginis perėjimas nuo „Large 4“ prie „Small 4“

Patikrinkite savo žinias

Penki klausimai kursui esmės įtvirtinimui.

1. Kokias `reasoning_effort` reikšmes priima „Mistral Large 4“ ir kurios ji atmeta?

Atsakymas: low, medium ir high (dokumentacijoje rekomenduojama pradėti nuo high). Ji atmeta none: lygis, kuris peržiūros etape taip vadinosi, dabar pervadintas į low.

2. Kur atsakyme su samprotavimu yra mąstymo tekstas?

Atsakymas: Jis yra ThinkChunk (tipas thinking) sąraše message.content. Jo laukas thinking pats yra TextChunk objektų sąrašas, iš kurio skaitote lauką text. Galutinis atsakymas yra aukščiausio lygio TextChunk.

3. Ką privalote grąžinti į daugiapakopio pokalbio istoriją „Chat Completions“ sistemoje?

Atsakymas: Visą asistento žinutę, įskaitant mąstymo fragmentus. Mąstymo pašalinimas sutaupo žetonų, tačiau žymiai pablogina vėlesnių etapų kokybę.

4. Jūsų kodas vis dar kviečia `magistral-medium-latest`: ką daryti?

Atsakymas: Migraciją atlikite nedelsiant, nes „Magistral“ buvo nutrauktas 2026 m. liepos 31 d. Jei kokybės pakanka, tikslinga naudoti „Small 4“, kitu atveju – „Large 4“ su reasoning_effort="high"; „Medium 3.5“, kaip paskirtas pakaitalas, pats yra pasenęs iki 2027 m. balandžio 30 d. Pašalinkite prompt_mode ir mąstymo šablonus iš sistemos promptų.

5. Kaip nustatyti `reasoning_effort` „Mistral“ agente?

Atsakymas: Agento lauke completion_args, pavyzdžiui, completion_args={"reasoning_effort": "high"}. Naudojant „Conversations API“, tą patį lauką naudokite kiekviename startarbaappend` veiksmuose.