Премини към основното съдържание
Български— Изберете език
Меню

Избор на правилното ниво на разсъждение

Урок 12 от 12 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Два регулатора вместо гама от модели
  2. Матрица за вземане на решения
  3. Изчислете, преди да мащабирате
  4. Архитектура за насочване (Routing)
  5. Най-добри практики за продукция
  6. Обобщение на курса
  7. Ключови изводи
  8. Проверете знанията си

Урокът е пренаписан на 2 ноември 2026 г. Преди това той противопоставяше „настройваемото“ разсъждение на Mistral Small с „вроденото“ разсъждение на Magistral, но Magistral беше оттеглен на 31 юли 2026 г. Изборът сега е между моделите с общо предназначение и нивата на reasoning_effort. Източници: Reasoning · Карти на моделите Small 4 и Large 4.

Два регулатора вместо гама от модели

Изборът на модел за разсъждение при Mistral преди означаваше да избирате между две отделни гами. Днес това означава да настроите два регулатора: моделът (Small 4 за повечето задачи, Large 4 за най-сложните случаи) и нивото на разсъждение (none или high за Small 4; low, medium или high за Large 4). Едно единствено приложение може и често трябва да използва множество комбинации.

Матрица за вземане на решения

СитуацияНачална настройкаЗащо
Фактологичен въпрос, преформулиране, извличанеSmall 4, noneНяма нужда от размисъл: разсъждението само би добавило латентност и токени
Многоетапно изчисление, рутинно отстраняване на грешки, просто сравнениеSmall 4, highРазсъждението коригира грешките във веригата за умерена цена
Обобщаване или преформулиране на Large 4Large 4, lowLarge 4 не приема none; low е най-икономичното му ниво
Анализ по множество критерии, план за миграция, деликатна грешкаLarge 4, medium, след това highПърво тествайте междинното ниво; повишете го, ако качеството го изисква
Критично решение (правно, финансово, медицинско)Large 4, high + проверкаРазсъждението намалява грешките, но не ги елиминира: втори проход или човешка проверка остават необходими

Тази матрица предоставя отправни точки, а не абсолютни истини: Вашите собствени оценки решават. Също така имайте предвид, че към 2 ноември 2026 г. Large 4 е в публична предварителна версия (Public Preview).

Изчислете, преди да мащабирате

Посочените тарифи (на милион токени, записани на 2 ноември 2026 г.) Ви позволяват да оцените цената на дадена настройка от полето usage в отговорите:

RATES = {  # USD на милион токени: (вход, изход)
    "mistral-small-2603": (0.15, 0.60),
    "mistral-large-4-0": (0.70, 2.10),
    "mistral-medium-3-5": (1.50, 7.50),   # остарял, оттегляне на 30 април 2027 г.
}

def cost(response, model):
    """Цена на отговора, включително разсъждението (без отстъпки за кеш)."""
    input_rate, output_rate = RATES[model]
    u = response.usage
    return (u.prompt_tokens * input_rate + u.completion_tokens * output_rate) / 1_000_000

Сумирайте тази цена за тип заявка в продължение на няколко дни с реален трафик: тази фигура Ви казва дали обобщена настройка high е устойчива.

Архитектура за насочване (Routing)

В реално приложение повечето заявки са прости. Плащането за разсъждение за тях не добавя стойност. Следният насочващ механизъм първо пита Small 4, без разсъждение, да оцени сложността на въпроса, след което насочва заявката към подходящата настройка:

import os
from mistralai.client import Mistral

class ReasoningRouter:
    """Насочва всеки въпрос към модел и ниво на разсъждение."""

    def __init__(self):
        self.client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

    def complexity(self, question):
        r = self.client.chat.complete(
            model="mistral-small-2603",
            messages=[{"role": "user", "content":
                f"Rate the complexity of this question from 0 to 10. Reply with only the number: {question}"}],
            reasoning_effort="none",
        )
        try:
            return min(max(int(str(r.choices[0].message.content).strip()), 0), 10)
        except ValueError:
            return 5  # консервативна стойност, ако отговорът не е число

    def respond(self, question, system_prompt=None):
        score = self.complexity(question)
        if score <= 3:
            model, level = "mistral-small-2603", "none"
        elif score <= 7:
            model, level = "mistral-small-2603", "high"
        else:
            model, level = "mistral-large-4-0", "high"
        messages = [{"role": "system", "content": system_prompt}] if system_prompt else []
        messages.append({"role": "user", "content": question})
        return self.client.chat.complete(model=model, messages=messages, reasoning_effort=level)

Обаждането за класификация струва малко: няколко десетки токена на най-евтиния модел, без разсъждение. Коригирайте праговете след наблюдение, сравнявайки качеството и цената на всеки клон.

Най-добри практики за продукция

Записвайте употребата по клон. За всеки отговор съхранявайте модела, нивото, usage.prompt_tokens, usage.completion_tokens и изчислената по-горе цена. Без тези числа не можете да кажете дали разсъждението си заслужава.

Фиксирайте идентификатори с дата. В продукция използвайте mistral-small-2603, а не mistral-small-latest: псевдоним може да превключи към нова версия, без кодът Ви да се промени. Централизирайте тези идентификатори в една единствена конфигурация.

MODELS = {
    "fast": ("mistral-small-2603", "none"),
    "reasoning": ("mistral-small-2603", "high"),
    "deep": ("mistral-large-4-0", "high"),
}

Планирайте резервен вариант. Тъй като Large 4 е в публична предварителна версия, резервен вариант към Small 4 в режим high предпазва услугата Ви, ако обаждането се провали. Всички HTTP грешки на SDK наследяват MistralError:

from mistralai.client import errors

def query_with_fallback(client, messages):
    try:
        return client.chat.complete(model="mistral-large-4-0", messages=messages, reasoning_effort="high")
    except errors.MistralError:
        return client.chat.complete(model="mistral-small-2603", messages=messages, reasoning_effort="high")

Следете за остарявания. Страницата с модели на Mistral изброява датите на остаряване и оттегляне. Medium 3.5 ще бъде оттеглен на 30 април 2027 г.: ако го използвате, крайният срок вече е определен.

Обобщение на курса

Разсъждението дава на модела пространство да помисли, преди да отговори; при Mistral конфигурирате това за всяка заявка с reasoning_effort, чиито стойности зависят от модела. След това отговорът идва на фрагменти – мисъл, след това отговор – които трябва да знаете как да четете, включително в режим на поточно предаване (streaming), и да възпроизвеждате изцяло за многократни разговори. Агентите и API за разговори (Conversations API) носят същата настройка в completion_args. Magistral е оттеглен: Small 4 и Large 4 поемат ролята, като Medium 3.5 служи само като преходна стъпка. Накрая, разсъждението е оправдано там, където има пътища за изследване и грешки за улавяне (математика, код, решения), и то винаги трябва да се измерва: качество, токени, латентност.

Ключови изводи

  • Два регулатора: моделът (Small 4, Large 4) и нивото на reasoning_effort
  • Small 4 в none за прости задачи, в high за многоетапни; Large 4 за най-сложните случаи
  • Изчислете всяка настройка от usage и официалните тарифи, преди да я мащабирате
  • Насочващ механизъм запазва разсъждението за заявки, които имат полза от него
  • В продукция: идентификатори с дата, записване на употребата, резервен вариант от Large 4 към Small 4

Проверете знанията си

Пет въпроса за валидиране на основните елементи на курса.

1. Какви стойности на reasoning_effort приема Mistral Large 4 и коя отхвърля?

Отговор: low, medium и high (документацията препоръчва high като отправна точка). Той отхвърля none: нивото, което преди се наричаше така в неговата предварителна версия, сега се нарича low.

2. Къде се намира текстът на мисълта в отговор с разсъждение?

Отговор: В ThinkChunk (тип thinking) в списъка message.content. Неговото поле thinking е сам по себе си списък от обекти TextChunk, от които четете полето text. Крайният отговор е в TextChunk от най-високо ниво.

3. Какво трябва да върнете в историята на многократен разговор в Chat Completions?

Отговор: Пълното съобщение на асистента, включително фрагментите от мисълта. Премахването на мисълта спестява токени, но значително влошава качеството на следващите реплики.

4. Вашият код все още извиква magistral-medium-latest: какво трябва да направите?

Отговор: Мигрирайте незабавно, тъй като Magistral беше оттеглен на 31 юли 2026 г. Целете Small 4, ако качеството е достатъчно, в противен случай Large 4 с reasoning_effort="high"; Medium 3.5, определената замяна, също е остарял до 30 април 2027 г. Премахнете prompt_mode и шаблона за мисъл от системните подсказки.

5. Как задавате reasoning_effort в агент на Mistral?

Отговор: В полето completion_args на агента, например completion_args={"reasoning_effort": "high"}. С API за разговори използвайте същото поле при всяко start или append.