Избор на правилното ниво на разсъждение
На тази страница
Урокът е пренаписан на 2 ноември 2026 г. Преди това той противопоставяше „настройваемото“ разсъждение на Mistral Small с „вроденото“ разсъждение на Magistral, но Magistral беше оттеглен на 31 юли 2026 г. Изборът сега е между моделите с общо предназначение и нивата на
reasoning_effort. Източници: Reasoning · Карти на моделите Small 4 и Large 4.
Два регулатора вместо гама от модели
Изборът на модел за разсъждение при Mistral преди означаваше да избирате между две отделни гами. Днес това означава да настроите два регулатора: моделът (Small 4 за повечето задачи, Large 4 за най-сложните случаи) и нивото на разсъждение (none или high за Small 4; low, medium или high за Large 4). Едно единствено приложение може и често трябва да използва множество комбинации.
Матрица за вземане на решения
| Ситуация | Начална настройка | Защо |
|---|---|---|
| Фактологичен въпрос, преформулиране, извличане | Small 4, none | Няма нужда от размисъл: разсъждението само би добавило латентност и токени |
| Многоетапно изчисление, рутинно отстраняване на грешки, просто сравнение | Small 4, high | Разсъждението коригира грешките във веригата за умерена цена |
| Обобщаване или преформулиране на Large 4 | Large 4, low | Large 4 не приема none; low е най-икономичното му ниво |
| Анализ по множество критерии, план за миграция, деликатна грешка | Large 4, medium, след това high | Първо тествайте междинното ниво; повишете го, ако качеството го изисква |
| Критично решение (правно, финансово, медицинско) | Large 4, high + проверка | Разсъждението намалява грешките, но не ги елиминира: втори проход или човешка проверка остават необходими |
Тази матрица предоставя отправни точки, а не абсолютни истини: Вашите собствени оценки решават. Също така имайте предвид, че към 2 ноември 2026 г. Large 4 е в публична предварителна версия (Public Preview).
Изчислете, преди да мащабирате
Посочените тарифи (на милион токени, записани на 2 ноември 2026 г.) Ви позволяват да оцените цената на дадена настройка от полето usage в отговорите:
RATES = { # USD на милион токени: (вход, изход)
"mistral-small-2603": (0.15, 0.60),
"mistral-large-4-0": (0.70, 2.10),
"mistral-medium-3-5": (1.50, 7.50), # остарял, оттегляне на 30 април 2027 г.
}
def cost(response, model):
"""Цена на отговора, включително разсъждението (без отстъпки за кеш)."""
input_rate, output_rate = RATES[model]
u = response.usage
return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000
Сумирайте тази цена за тип заявка в продължение на няколко дни с реален трафик: тази фигура Ви казва дали обобщена настройка high е устойчива.
Архитектура за насочване (Routing)
В реално приложение повечето заявки са прости. Плащането за разсъждение за тях не добавя стойност. Следният насочващ механизъм първо пита Small 4, без разсъждение, да оцени сложността на въпроса, след което насочва заявката към подходящата настройка:
import os
from mistralai.client import Mistral
class ReasoningRouter:
"""Насочва всеки въпрос към модел и ниво на разсъждение."""
def __init__(self):
self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def complexity(self, question):
r = self.client.chat.complete(
model="mistral-small-2603",
messages=[{"role": "user", "content":
f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
reasoning_effort="none",
)
try:
return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
except ValueError:
return 5 # консервативна стойност, ако отговорът не е число
def respond(self, question, system_prompt=None):
score = self.complexity(question)
if score <= 3:
model, level = "mistral-small-2603", "none"
elif score <= 7:
model, level = "mistral-small-2603", "high"
else:
model, level = "mistral-large-4-0", "high"
messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
messages.append({"role": "user", "content": question})
return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)
Обаждането за класификация струва малко: няколко десетки токена на най-евтиния модел, без разсъждение. Коригирайте праговете след наблюдение, сравнявайки качеството и цената на всеки клон.
Най-добри практики за продукция
Записвайте употребата по клон. За всеки отговор съхранявайте модела, нивото, usage.prompt_tokens, usage.completion_tokens и изчислената по-горе цена. Без тези числа не можете да кажете дали разсъждението си заслужава.
Фиксирайте идентификатори с дата. В продукция използвайте mistral-small-2603, а не mistral-small-latest: псевдоним може да превключи към нова версия, без кодът Ви да се промени. Централизирайте тези идентификатори в една единствена конфигурация.
MODELS = {
"fast": ("mistral-small-2603", "none"),
"reasoning": ("mistral-small-2603", "high"),
"deep": ("mistral-large-4-0", "high"),
}
Планирайте резервен вариант. Тъй като Large 4 е в публична предварителна версия, резервен вариант към Small 4 в режим high предпазва услугата Ви, ако обаждането се провали. Всички HTTP грешки на SDK наследяват MistralError:
from mistralai.client import errors
def query_with_fallback(client, messages):
try:
return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
except errors.MistralError:
return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")
Следете за остарявания. Страницата с модели на Mistral изброява датите на остаряване и оттегляне. Medium 3.5 ще бъде оттеглен на 30 април 2027 г.: ако го използвате, крайният срок вече е определен.
Обобщение на курса
Разсъждението дава на модела пространство да помисли, преди да отговори; при Mistral конфигурирате това за всяка заявка с reasoning_effort, чиито стойности зависят от модела. След това отговорът идва на фрагменти – мисъл, след това отговор – които трябва да знаете как да четете, включително в режим на поточно предаване (streaming), и да възпроизвеждате изцяло за многократни разговори. Агентите и API за разговори (Conversations API) носят същата настройка в completion_args. Magistral е оттеглен: Small 4 и Large 4 поемат ролята, като Medium 3.5 служи само като преходна стъпка. Накрая, разсъждението е оправдано там, където има пътища за изследване и грешки за улавяне (математика, код, решения), и то винаги трябва да се измерва: качество, токени, латентност.
Ключови изводи
- Два регулатора: моделът (Small 4, Large 4) и нивото на
reasoning_effort - Small 4 в
noneза прости задачи, вhighза многоетапни; Large 4 за най-сложните случаи - Изчислете всяка настройка от
usageи официалните тарифи, преди да я мащабирате - Насочващ механизъм запазва разсъждението за заявки, които имат полза от него
- В продукция: идентификатори с дата, записване на употребата, резервен вариант от Large 4 към Small 4
Проверете знанията си
Пет въпроса за валидиране на основните елементи на курса.
1. Какви стойности на reasoning_effort приема Mistral Large 4 и коя отхвърля?
Отговор: low, medium и high (документацията препоръчва high като отправна точка). Той отхвърля none: нивото, което преди се наричаше така в неговата предварителна версия, сега се нарича low.
2. Къде се намира текстът на мисълта в отговор с разсъждение?
Отговор: В ThinkChunk (тип thinking) в списъка message.content. Неговото поле thinking е сам по себе си списък от обекти TextChunk, от които четете полето text. Крайният отговор е в TextChunk от най-високо ниво.
3. Какво трябва да върнете в историята на многократен разговор в Chat Completions?
Отговор: Пълното съобщение на асистента, включително фрагментите от мисълта. Премахването на мисълта спестява токени, но значително влошава качеството на следващите реплики.
4. Вашият код все още извиква magistral-medium-latest: какво трябва да направите?
Отговор: Мигрирайте незабавно, тъй като Magistral беше оттеглен на 31 юли 2026 г. Целете Small 4, ако качеството е достатъчно, в противен случай Large 4 с reasoning_effort="high"; Medium 3.5, определената замяна, също е остарял до 30 април 2027 г. Премахнете prompt_mode и шаблона за мисъл от системните подсказки.
5. Как задавате reasoning_effort в агент на Mistral?
Отговор: В полето completion_args на агента, например completion_args={"reasoning_effort": "high"}. С API за разговори използвайте същото поле при всяко start или append.