Pasirinkti tinkamą samprotavimo lygį
Šiame puslapyje
Pamoka perrašyta 2026 m. lapkričio 2 d. Anksčiau joje buvo lyginamas „Mistral Small“ „reguliuojamas“ samprotavimas su „Magistral“ „gimtuoju“ samprotavimu, tačiau „Magistral“ buvo nutrauktas 2026 m. liepos 31 d. Dabar pasirinkimas yra tarp bendrosios paskirties modelių ir
reasoning_effortlygių. Šaltiniai: Samprotavimas · Small 4 ir Large 4 modelių kortelės.
Du valdikliai vietoj modelių eilutės
Anksčiau, norint pasirinkti samprotavimo modelį „Mistral“, reikėdavo rinktis iš dviejų atskirų modelių eilučių. Šiandien tai reiškia dviejų valdiklių derinimą: modelio („Small 4“ daugumai užduočių, „Large 4“ sunkiausiems atvejams) ir samprotavimo lygio (none arba high ties „Small 4“; low, medium arba high ties „Large 4“). Viena programa gali ir dažnai turėtų naudoti kelis derinius.
Sprendimų matrica
| Situacija | Pradinis nustatymas | Kodėl |
|---|---|---|
| Faktinis klausimas, performulavimas, ištraukimas | Small 4, none | Nėra ko svarstyti: samprotavimas tik pridėtų delsos ir sunaudotų daugiau žetonų |
| Daugiažingsnis skaičiavimas, įprastas derinimas, paprastas palyginimas | Small 4, high | Samprotavimas ištaiso grandininės grandinės klaidas už nedidelę kainą |
| Apibendrinimas arba performulavimas naudojant Large 4 | Large 4, low | „Large 4“ nepriima none; low yra ekonomiškiausias jo lygis |
| Daugiakriterinė analizė, migracijos planas, subtili klaida | Large 4, medium, tada high | Pirmiausia išbandykite tarpinį lygį; jei kokybės nepakanka, pereikite prie aukštesnio |
| Kritinis sprendimas (teisinis, finansinis, medicininis) | Large 4, high + patikrinimas | Samprotavimas sumažina klaidas, bet jų nepašalina visiškai: vis tiek reikia antrojo paso arba žmogaus peržiūros |
Ši matrica pateikia pradinius taškus, o ne absoliučias tiesas: galutinį sprendimą lemia jūsų pačių įvertinimai. Taip pat atminkite, kad „Large 4“ nuo 2026 m. lapkričio 2 d. yra viešojo peržiūros („Public Preview“) etape.
Paskaičiuokite prieš didindami mastelį
Nurodyti tarifai (už milijoną žetonų, užfiksuoti 2026 m. lapkričio 2 d.) leidžia įvertinti nustatymo kainą pagal atsakymų lauką usage:
RATES = { # USD už milijoną žetonų: (įvestis, išvestis)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # pasenusi, nutraukimas 2027 m. balandžio 30 d.
}
def cost(response, model):
"""Atsakymo kaina, įskaitant samprotavimą (neįskaitant talpyklos nuolaidų)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Sudėkite šią kainą pagal užklausų tipus per kelias realaus srauto dienas: ši figūra parodys, ar apibendrintas high nustatymas yra tvarus.
Maršrutizavimo architektūra
Realioje programoje dauguma užklausų yra paprastos. Mokėjimas už samprotavimą tokiais atvejais neprideda vertės. Toliau pateiktas maršrutizatorius pirmiausia paprašo „Small 4“ (be samprotavimo) įvertinti klausimo sudėtingumą, o tada nukreipia užklausą į tinkamą nustatymą:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Kiekvieną klausimą nukreipia į modelį ir samprotavimo lygį."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Įvertinkite šio klausimo sudėtingumą nuo 0 iki 10. Atsakykite tik skaičiumi: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # konservatyvi vertė, jei atsakymas nėra skaičius
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Klasifikavimo užklausa kainuoja nedaug: keliasdešimt žetonų pigiausiame modelyje ir be samprotavimo. Po stebėjimo pakoreguokite slenkstines vertes, palygindami kiekvienos šakos kokybę ir kainą.
Geriausios gamybos praktikos
Registruokite naudojimą pagal šakas. Kiekvienam atsakymui saugokite modelį, lygį, usage.prompt_tokens, usage.completion_tokens ir aukščiau apskaičiuotą kainą. Be šių skaičių negalėsite nustatyti, ar samprotavimas atsiperka.
Naudokite datuotus identifikatorius. Gamyboje naudokite mistral-small-2603, o ne mistral-small-latest: aliasas gali perjungti naują versiją nepakeitus jūsų kodo. Centralizuokite šiuos identifikatorius vienoje konfigūracijoje.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Numatykite atsarginį variantą. Kadangi „Large 4“ yra viešojo peržiūros etape, atsarginis perėjimas prie „Small 4“ režimu high apsaugo jūsų tarnybą, jei užklausa nepavyktų. Visos SDK HTTP klaidos paveldimos iš MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Stebėkite pasenusias versijas. „Mistral“ modelių puslapyje nurodytos pasenusimo ir nutraukimo datos. „Medium 3.5“ bus nutrauktas 2027 m. balandžio 30 d.: jei jį naudojate, terminas jau yra nustatytas.
Kurso santrauka
Samprotavimas suteikia modeliui erdvės pagalvoti prieš atsakant; „Mistral“ sistemoje tai konfigūruojate kiekvienai užklausai naudodami reasoning_effort, kurio reikšmės priklauso nuo modelio. Tada atsakymas atkeliauja fragmentais – pirmiausia mąstymas, tada atsakymas – ir jūs turite mokėti juos perskaityti, įskaitant srautiniu režimu, bei visiškai atkurti daugiapakopiams pokalbiams. Agentai ir „Conversations API“ tą patį nustatymą perduoda lauke completion_args. „Magistral“ nutrauktas: jį pakeitė „Small 4“ ir „Large 4“, o „Medium 3.5“ tarnauja tik kaip pereinamasis etapas. Galiausiai, samprotavimas yra pateisinamas ten, kur reikia naršyti kelius ir gaudyti klaidas (matematika, kodas, sprendimai), ir jis visada turi būti matuojamas: kokybė, žetonai, delsa.
Svarbiausi punktai
- Du valdikliai: modelis („Small 4“, „Large 4“) ir
reasoning_effortlygis - „Small 4“ su
nonepaprastoms užduotims, suhigh– daugiažingsnėms; „Large 4“ – sunkiausiems atvejams - Prieš didindami mastelį, apskaičiuokite kiekvieno nustatymo kainą iš
usageir oficialių tarifų - Maršrutizatorius rezervuoja samprotavimą tik toms užklausoms, kurioms jis naudingas
- Gamyboje: datuoti identifikatoriai, naudojimo registravimas, atsarginis perėjimas nuo „Large 4“ prie „Small 4“
Patikrinkite savo žinias
Penki klausimai kursui esmės įtvirtinimui.
1. Kokias `reasoning_effort` reikšmes priima „Mistral Large 4“ ir kurios ji atmeta?
Atsakymas: low, medium ir high (dokumentacijoje rekomenduojama pradėti nuo high). Ji atmeta none: lygis, kuris peržiūros etape taip vadinosi, dabar pervadintas į low.
2. Kur atsakyme su samprotavimu yra mąstymo tekstas?
Atsakymas: Jis yra ThinkChunk (tipas thinking) sąraše message.content. Jo laukas thinking pats yra TextChunk objektų sąrašas, iš kurio skaitote lauką text. Galutinis atsakymas yra aukščiausio lygio TextChunk.
3. Ką privalote grąžinti į daugiapakopio pokalbio istoriją „Chat Completions“ sistemoje?
Atsakymas: Visą asistento žinutę, įskaitant mąstymo fragmentus. Mąstymo pašalinimas sutaupo žetonų, tačiau žymiai pablogina vėlesnių etapų kokybę.
4. Jūsų kodas vis dar kviečia `magistral-medium-latest`: ką daryti?
Atsakymas: Migraciją atlikite nedelsiant, nes „Magistral“ buvo nutrauktas 2026 m. liepos 31 d. Jei kokybės pakanka, tikslinga naudoti „Small 4“, kitu atveju – „Large 4“ su reasoning_effort="high"; „Medium 3.5“, kaip paskirtas pakaitalas, pats yra pasenęs iki 2027 m. balandžio 30 d. Pašalinkite prompt_mode ir mąstymo šablonus iš sistemos promptų.
5. Kaip nustatyti `reasoning_effort` „Mistral“ agente?
Atsakymas: Agento lauke completion_args, pavyzdžiui, completion_args={"reasoning_effort": "high"}. Naudojant „Conversations API“, tą patį lauką naudokite kiekviename startarbaappend` veiksmuose.