Премини към основното съдържание
Български— Изберете език
Меню

API за модериране на Mistral

Урок 5 от 12 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Класифициране на съдържание след генериране
  2. Моделът Mistral Moderation 2
  3. Крайната точка /v1/moderations
  4. Структура на отговора
  5. Модериране на множество текстове наведнъж
  6. Предпазни огради срещу API за модериране: кога какво да използвате
  7. Пример: пълен конвейер
  8. Ключови изводи

Обновено на 3 ноември 2026 г. Примерът за отговор преди това включваше несъществуващи ключове (hate, violence, unpredictable); сега той отразява единадесетте категории от mistral-moderation-2603. Крайният конвейер преди това използваше измислен формат на предпазна ограда (enabled) и откриваше блокирания чрез търсене на “403” в съобщението за грешка: сега той следва официалния формат и проверява e.status_code. Представянето на модела се придържа към официалния му информационен лист, а урокът въвежда Shieldstral 1.0, модела за модериране в публичен преглед от август 2026 г. Кодът е проверен спрямо типовете на SDK mistralai версия 3.7.0. Източници: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.

Класифициране на съдържание след генериране

Предпазните огради филтрират входните подкани. Но какво да кажем за съдържанието, генерирано от модела? Една невинна подкана може да доведе до проблематичен отговор: въпрос на ученик от среден курс за Втората световна война може да доведе до описание, което не искате да показвате без предупреждения. Тук идва ролята на API за модериране: да анализира съдържанието постфактум и да присъжда оценки за риск по категории.

API за модериране е вашата втора линия на защита – той допълва предпазните огради, за да създаде пълна архитектура за сигурност, с една основна разлика: сам по себе си не блокира нищо; той ви информира.

Моделът Mistral Moderation 2

Специализираният модел за модериране се нарича mistral-moderation-2603 (Mistral Moderation 2, версия от март 2026 г.). Това е специализиран класификатор, различен от моделите за генериране: той не пише текст, а присъжда оценки. Официалният му информационен лист подчертава контекстен прозорец от 128 000 токена, откриване на пробиви в защитата (jailbreak) и висока ефективност при сложно многоезично съдържание, включително дълги разговори. Той замества mistral-moderation-2411, който беше оттеглен на 31 март 2026 г.

Той оценява всеки текст по 11 категории, с оценка от 0.0 до 1.0 за категория. Приема два режима на вход: обикновен текст или разговорен, като изборът между тях влияе върху качеството на резултатите повече, отколкото бихте очаквали.

Вторичен модел за модериране съществува от 4 август 2026 г. в публичен преглед: Shieldstral 1.0. Той работи различно: компактен (3.8 милиарда параметъра) и многомоден, той класифицира текст и изображения въз основа на въпроси за политиката, формулирани на естествен език, отговаряйки с „да“ или „не“. Неговите тегла са публикувани под лиценза Apache 2.0, което позволява самостоятелно хостване. Докато остава в режим на преглед, mistral-moderation-2603 остава производственият модел и именно той се използва за предпазни огради.

Крайната точка /v1/moderations

Режимът с обикновен текст е най-простият: изпращате един или повече текстове за класифициране, без допълнителен контекст.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Модериране на обикновен текст
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Text to analyze for moderation"]
)

# Достъп до резултатите
for result in response.results:
    print(f"Categories: {result.categories}")
    print(f"Scores: {result.category_scores}")

За да модерирате пълни размени – подкана и отговор заедно – разговорният режим предоставя на класификатора това, което му е липсвало: нишката на дискусията.

# Модериране на пълен разговор
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "How do I treat a headache?"},
            {"role": "assistant", "content": "Take 1g of paracetamol..."}
        ]
    ]
)

# Класификаторът оценява пълния контекст
for result in response.results:
    print(f"Health score: {(result.category_scores or {}).get('health', 0)}")

Разговорният режим, който извиква крайната точка /v1/chat/moderations, е този, който Mistral препоръчва за размяна: моделът е обучен да класифицира последния ход на разговора в светлината на предишните. За да модерирате отговора на вашия асистент, го поставете последен. Списъкът със списъци в примера позволява изпращането на множество разговори наведнъж; за един единствен разговор е достатъчен обикновен списък със съобщения. По този начин един и същи текст може да получи различна оценка в зависимост от това дали отговаря на легитимен или злонамерен въпрос – доза, цитирана в отговор на информационна заявка, няма същия статут като същата доза, промъкната в размяна относно рисково самолечение.

Структура на отговора

За всеки анализиран текст отговорът съдържа два паралелни блока: categories, булеви стойности, изчислени с прагове, зададени от Mistral въз основа на неговия вътрешен тестов набор, и category_scores, суровите оценки от 0.0 до 1.0. Примерът по-долу е илюстративен, със закръглени стойности; някои примери в документацията все още показват деветте категории на стария модел, където dangerous_and_criminal_content комбинираше dangerous и criminal. Вие ще използвате последните, защото те ви позволяват да зададете собствените си граници.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

В този пример само health е маркирано като true, с 0.72. Асистент, ориентиран към потребителя, би възприел това като сигнал за блокиране; инструмент, предназначен за фармацевти, би го пропуснал без колебание. Една и съща оценка, две противоположни решения, и точно затова работите с оценки, а не с булеви стойности.

Модериране на множество текстове наведнъж

API приема множество текстове в една заявка, което променя всичко за пакетната обработка: ретроспективният анализ на история на разговор или база данни с коментари става разумна операция по отношение на броя на извикванията.

# Модериране на множество текстове в една заявка
texts = [
    "First text to analyze",
    "Second text to analyze",
    "Third text to analyze"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Всеки текст има свой собствен резултат
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")

Предпазни огради срещу API за модериране: кога какво да използвате

АспектПерсонализирани предпазни оградиAPI за модериране
ВремеПРЕДИ генериранетоСЛЕД генерирането
ДействиеБлокира автоматично (403)Връща оценки (Вие решавате)
КонтролВашите прагове на категория, приложени от MistralСурови оценки, свободна логика
ИзвикванеПараметър на заявката за генериранеОтделно извикване към /v1/moderations
Случай на употребаФилтриране на опасни подканиКласифициране на отговори

Пример: пълен конвейер

Конвейерът по-долу показва последователността на двата механизма. Генерирането е защитено от предпазна ограда, фокусирана върху пробиви в защитата (jailbreaking); след това отговорът се класифицира заедно с въпроса, който го е породил, и се намесва персонализирано решение веднага щом някоя оценка надхвърли 0.5. Имайте предвид, че двете стъпки връщат различни статуси – blocked_input и blocked_output – така че вашите дневници ясно показват къде е спряла заявката.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Конвейер с предпазни огради (вход) и модериране (изход)."""
    # Стъпка 1: генериране с предпазни огради
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # Стъпка 2: модериране на изхода в контекста на въпроса
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Ключови изводи

  • API за модериране използва модела mistral-moderation-2603 за класифициране на съдържание
  • Налични са два режима: обикновен текст и разговорен
  • Оценките варират от 0.0 до 1.0 – Вие дефинирате собствените си прагове за вземане на решения
  • Разговорният режим е по-точен, защото отчита контекста
  • Комбинирайте предпазни огради (вход) + модериране (изход) за дълбочинна защита