API за модериране на Mistral
На тази страница
Обновено на 3 ноември 2026 г. Примерът за отговор преди това включваше несъществуващи ключове (
hate,violence,unpredictable); сега той отразява единадесетте категории отmistral-moderation-2603. Крайният конвейер преди това използваше измислен формат на предпазна ограда (enabled) и откриваше блокирания чрез търсене на “403” в съобщението за грешка: сега той следва официалния формат и проверяваe.status_code. Представянето на модела се придържа към официалния му информационен лист, а урокът въвежда Shieldstral 1.0, модела за модериране в публичен преглед от август 2026 г. Кодът е проверен спрямо типовете на SDKmistralaiверсия 3.7.0. Източници: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.
Класифициране на съдържание след генериране
Предпазните огради филтрират входните подкани. Но какво да кажем за съдържанието, генерирано от модела? Една невинна подкана може да доведе до проблематичен отговор: въпрос на ученик от среден курс за Втората световна война може да доведе до описание, което не искате да показвате без предупреждения. Тук идва ролята на API за модериране: да анализира съдържанието постфактум и да присъжда оценки за риск по категории.
API за модериране е вашата втора линия на защита – той допълва предпазните огради, за да създаде пълна архитектура за сигурност, с една основна разлика: сам по себе си не блокира нищо; той ви информира.
Моделът Mistral Moderation 2
Специализираният модел за модериране се нарича mistral-moderation-2603 (Mistral Moderation 2, версия от март 2026 г.). Това е специализиран класификатор, различен от моделите за генериране: той не пише текст, а присъжда оценки. Официалният му информационен лист подчертава контекстен прозорец от 128 000 токена, откриване на пробиви в защитата (jailbreak) и висока ефективност при сложно многоезично съдържание, включително дълги разговори. Той замества mistral-moderation-2411, който беше оттеглен на 31 март 2026 г.
Той оценява всеки текст по 11 категории, с оценка от 0.0 до 1.0 за категория. Приема два режима на вход: обикновен текст или разговорен, като изборът между тях влияе върху качеството на резултатите повече, отколкото бихте очаквали.
Вторичен модел за модериране съществува от 4 август 2026 г. в публичен преглед: Shieldstral 1.0. Той работи различно: компактен (3.8 милиарда параметъра) и многомоден, той класифицира текст и изображения въз основа на въпроси за политиката, формулирани на естествен език, отговаряйки с „да“ или „не“. Неговите тегла са публикувани под лиценза Apache 2.0, което позволява самостоятелно хостване. Докато остава в режим на преглед, mistral-moderation-2603 остава производственият модел и именно той се използва за предпазни огради.
Крайната точка /v1/moderations
Режимът с обикновен текст е най-простият: изпращате един или повече текстове за класифициране, без допълнителен контекст.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Модериране на обикновен текст
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Text to analyze for moderation"]
)
# Достъп до резултатите
for result in response.results:
print(f"Categories: {result.categories}")
print(f"Scores: {result.category_scores}")
За да модерирате пълни размени – подкана и отговор заедно – разговорният режим предоставя на класификатора това, което му е липсвало: нишката на дискусията.
# Модериране на пълен разговор
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "How do I treat a headache?"},
{"role": "assistant", "content": "Take 1g of paracetamol..."}
]
]
)
# Класификаторът оценява пълния контекст
for result in response.results:
print(f"Health score: {(result.category_scores or {}).get('health', 0)}")
Разговорният режим, който извиква крайната точка /v1/chat/moderations, е този, който Mistral препоръчва за размяна: моделът е обучен да класифицира последния ход на разговора в светлината на предишните. За да модерирате отговора на вашия асистент, го поставете последен. Списъкът със списъци в примера позволява изпращането на множество разговори наведнъж; за един единствен разговор е достатъчен обикновен списък със съобщения. По този начин един и същи текст може да получи различна оценка в зависимост от това дали отговаря на легитимен или злонамерен въпрос – доза, цитирана в отговор на информационна заявка, няма същия статут като същата доза, промъкната в размяна относно рисково самолечение.
Структура на отговора
За всеки анализиран текст отговорът съдържа два паралелни блока: categories, булеви стойности, изчислени с прагове, зададени от Mistral въз основа на неговия вътрешен тестов набор, и category_scores, суровите оценки от 0.0 до 1.0. Примерът по-долу е илюстративен, със закръглени стойности; някои примери в документацията все още показват деветте категории на стария модел, където dangerous_and_criminal_content комбинираше dangerous и criminal. Вие ще използвате последните, защото те ви позволяват да зададете собствените си граници.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
В този пример само health е маркирано като true, с 0.72. Асистент, ориентиран към потребителя, би възприел това като сигнал за блокиране; инструмент, предназначен за фармацевти, би го пропуснал без колебание. Една и съща оценка, две противоположни решения, и точно затова работите с оценки, а не с булеви стойности.
Модериране на множество текстове наведнъж
API приема множество текстове в една заявка, което променя всичко за пакетната обработка: ретроспективният анализ на история на разговор или база данни с коментари става разумна операция по отношение на броя на извикванията.
# Модериране на множество текстове в една заявка
texts = [
"First text to analyze",
"Second text to analyze",
"Third text to analyze"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Всеки текст има свой собствен резултат
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")
Предпазни огради срещу API за модериране: кога какво да използвате
| Аспект | Персонализирани предпазни огради | API за модериране |
|---|---|---|
| Време | ПРЕДИ генерирането | СЛЕД генерирането |
| Действие | Блокира автоматично (403) | Връща оценки (Вие решавате) |
| Контрол | Вашите прагове на категория, приложени от Mistral | Сурови оценки, свободна логика |
| Извикване | Параметър на заявката за генериране | Отделно извикване към /v1/moderations |
| Случай на употреба | Филтриране на опасни подкани | Класифициране на отговори |
Пример: пълен конвейер
Конвейерът по-долу показва последователността на двата механизма. Генерирането е защитено от предпазна ограда, фокусирана върху пробиви в защитата (jailbreaking); след това отговорът се класифицира заедно с въпроса, който го е породил, и се намесва персонализирано решение веднага щом някоя оценка надхвърли 0.5. Имайте предвид, че двете стъпки връщат различни статуси – blocked_input и blocked_output – така че вашите дневници ясно показват къде е спряла заявката.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Конвейер с предпазни огради (вход) и модериране (изход)."""
# Стъпка 1: генериране с предпазни огради
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# Стъпка 2: модериране на изхода в контекста на въпроса
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Ключови изводи
- API за модериране използва модела
mistral-moderation-2603за класифициране на съдържание - Налични са два режима: обикновен текст и разговорен
- Оценките варират от 0.0 до 1.0 – Вие дефинирате собствените си прагове за вземане на решения
- Разговорният режим е по-точен, защото отчита контекста
- Комбинирайте предпазни огради (вход) + модериране (изход) за дълбочинна защита