11-те категории за модериране
На тази страница
Обновено на 3 ноември 2026 г. Предишната таблица с категории изброяваше три несъществуващи ключа (
hate,violence,unpredictable) и пропускашеdangerous. Единадесетте ключа по-долу отразяватmistral-moderation-2603, въз основа на документацията и типовете от SDKmistralaiверсия 3.7.0; описанията следват дефинициите на Mistral. Представените преди това стойности на изхода като измерени данни бяха илюстративни примери и сега са ясно обозначени като такива. Източници: Moderation & Guardrailing · Mistral Moderation 2411 (deprecated model).
Разбиране на категориите за риск
Моделът за модериране на Mistral анализира съдържанието в 11 отделни категории. Всяка категория обхваща специфичен тип риск и връща независима оценка между 0.0 и 1.0. Разбирането точно какво открива всяка категория е от съществено значение за задаването на смислени прагове. Без тази яснота просто гадаєте числа и се чудите защо съдържанието се блокира неочаквано.
Таблицата по-долу предоставя точния API ключ за всяка категория, какво обхваща тя и какви видове случаи открива на практика.
| Категория | API Ключ | Какво включва Mistral |
|---|---|---|
| Сексуално съдържание | sexual | Изрично описани или промотирани сексуални дейности, голота или сексуални услуги; неексплицитното образователно или медицинско съдържание обикновено е изключено |
| Омраза и дискриминация | hate_and_discrimination | Предразсъдъци, враждебност или призиви за дискриминация въз основа на защитени характеристики, включително тормоз |
| Насилие и заплахи | violence_and_threats | Описано, възвеличено, подбудено или заплашено физическо насилие, както и инструкции за извършването му |
| Опасно съдържание | dangerous | Изключително опасно поведение с висок риск от физическа вреда |
| Престъпни дейности | criminal | Описани или промотирани незаконни дейности |
| Самонараняване | selfharm | Самонараняване, самоубийство, хранителни разстройства: методи, възвеличаване, намерение, опасни предизвикателства |
| Здраве | health | Заявки за или предоставяне на подробни или персонализирани медицински съвети |
| Финанси | financial | Заявки за или предоставяне на подробни или персонализирани финансови съвети |
| Право | law | Заявки за или предоставяне на подробни или персонализирани правни съвети |
| Лични данни | pii | Заявки, споделяне или опити за получаване на идентифициращи данни: пълно име, адрес, телефонен номер, социалноосигурителен номер, банкови детайли |
| Jailbreak | jailbreaking | Опити за заобикаляне на правилата на модела чрез манипулация на подканите (prompts), ролеви игри или други техники |
Категориите dangerous, criminal и jailbreaking се появиха с mistral-moderation-2603. Предишният модел, mistral-moderation-2411, обявен за остарял на 31 март 2026 г., комбинираше първите две под един ключ, dangerous_and_criminal_content, и не откриваше jailbreak опити. Някои примери за отговори в документацията все още показват тази по-стара разбивка: винаги четете ключовете, които API връща, вместо да ги предполагате.
„Твърди“ срещу „Меки“ категории
На практика тези 11 категории попадат в две групи въз основа на критичността си и това разграничение движи цялата Ви стратегия за прагове.
Твърди категории — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal и selfharm — представляват сериозни рискове, при които фалшиво отрицателен резултат (неуспех да се открие опасно съдържание) може да има тежки последствия. Сексуалното съдържание носи правен риск и задължения за защита на непълнолетните; езикът на омразата Ви излага на значителни репутационни щети и правна отговорност; насилието включва подбуда и заплахи; категориите за опасно и престъпно съдържание обхващат високорисково поведение и незаконни дейности; самонараняването засяга безопасността на потребителя и животозастрашаващи ситуации. За тези шест категории ниски прагове от 0.1 до 0.2 са оправдани независимо от Вашия продукт и Вие умишлено приемате някои фалшиво положителни резултати.
Меките категории зависят силно от контекста на Вашето приложение, с регулируеми прагове между 0.3 и 0.8. Един легитимен медицински чатбот трябва да обсъжда health, едно финтех приложение изисква разговори, обхванати от financial, един правен асистент задължително обработва law, а някои приложения законно събират данни, попадащи под pii. Един случай се чете различно: jailbreaking не зависи от темата, а от намерението за манипулиране на модела и остава критичен за всяко приложение, отворено за публиката.
Анализ на оценките в Python
Следната функция трансформира сурово API обаждане в четима присъда: тя изолира категориите, надвишаващи 0.3, идентифицира максималната оценка и нейната категория и връща индикатор safe, който можете да използвате директно във Вашата приложна логика.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Анализира текста и връща категориите за риск."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Отделяне на категориите за риск
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores е опционален в SDK, оттук и or {}. Стартирайте двата примера във Вашия акаунт: поздравът трябва да остане много нисък навсякъде, докато въпросът за дозировката трябва да скочи при health. Това не е „опасно“ съдържание в общия смисъл — това е съдържание, за което трябва да решите дали попада във Вашия обхват.
Множество категории: Един текст може да задейства няколко предупреждения
Един единствен текст може да има високи оценки в няколко категории едновременно — заявка за помощ при данъчна измама ще удари criminal, financial и law едновременно. Вашата логика за вземане на решения трябва да отчита тази множественост и преди всичко да определя приоритети: функцията по-долу сортира нарушенията според големината на превишението на прага, казвайки Ви коя категория всъщност е довела до блокирането.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Оценява глобалния риск, като взема предвид всички категории."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Конфигурация по профил
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Профилът strict_thresholds следва точно логиката твърди/меки, описана по-горе: прагове от 0.1 до 0.15 за шестте критични категории и jailbreak, толерантност на 0.3 за контекстуалните домейни. Запазете тази структура като Ваша отправна точка и документирайте всякакви отклонения, които въвеждате.
Ключови изводи
mistral-moderation-2603анализира съдържанието в 11 категории с фиксирани ключове;hate,violenceилиunpredictableне съществуват- Всяка категория връща оценка от 0.0 до 1.0
- „Твърдите“ категории (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) изискват ниски прагове - „Меките“ категории (здраве, финанси, право) се настройват въз основа на контекста на Вашето приложение
- Един единствен текст може да задейства множество категории едновременно
- Използвайте сурови оценки (
category_scores), вместо подразбиращи се булеви стойности