Премини към основното съдържание
Български— Изберете език
Меню

11-те категории за модериране

Урок 6 от 12 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Разбиране на категориите за риск
  2. „Твърди“ срещу „Меки“ категории
  3. Анализ на оценките в Python
  4. Множество категории: Един текст може да задейства няколко предупреждения
  5. Ключови изводи

Обновено на 3 ноември 2026 г. Предишната таблица с категории изброяваше три несъществуващи ключа (hate, violence, unpredictable) и пропускаше dangerous. Единадесетте ключа по-долу отразяват mistral-moderation-2603, въз основа на документацията и типовете от SDK mistralai версия 3.7.0; описанията следват дефинициите на Mistral. Представените преди това стойности на изхода като измерени данни бяха илюстративни примери и сега са ясно обозначени като такива. Източници: Moderation & Guardrailing · Mistral Moderation 2411 (deprecated model).

Разбиране на категориите за риск

Моделът за модериране на Mistral анализира съдържанието в 11 отделни категории. Всяка категория обхваща специфичен тип риск и връща независима оценка между 0.0 и 1.0. Разбирането точно какво открива всяка категория е от съществено значение за задаването на смислени прагове. Без тази яснота просто гадаєте числа и се чудите защо съдържанието се блокира неочаквано.

Таблицата по-долу предоставя точния API ключ за всяка категория, какво обхваща тя и какви видове случаи открива на практика.

КатегорияAPI КлючКакво включва Mistral
Сексуално съдържаниеsexualИзрично описани или промотирани сексуални дейности, голота или сексуални услуги; неексплицитното образователно или медицинско съдържание обикновено е изключено
Омраза и дискриминацияhate_and_discriminationПредразсъдъци, враждебност или призиви за дискриминация въз основа на защитени характеристики, включително тормоз
Насилие и заплахиviolence_and_threatsОписано, възвеличено, подбудено или заплашено физическо насилие, както и инструкции за извършването му
Опасно съдържаниеdangerousИзключително опасно поведение с висок риск от физическа вреда
Престъпни дейностиcriminalОписани или промотирани незаконни дейности
СамонараняванеselfharmСамонараняване, самоубийство, хранителни разстройства: методи, възвеличаване, намерение, опасни предизвикателства
ЗдравеhealthЗаявки за или предоставяне на подробни или персонализирани медицински съвети
ФинансиfinancialЗаявки за или предоставяне на подробни или персонализирани финансови съвети
ПравоlawЗаявки за или предоставяне на подробни или персонализирани правни съвети
Лични данниpiiЗаявки, споделяне или опити за получаване на идентифициращи данни: пълно име, адрес, телефонен номер, социалноосигурителен номер, банкови детайли
JailbreakjailbreakingОпити за заобикаляне на правилата на модела чрез манипулация на подканите (prompts), ролеви игри или други техники

Категориите dangerous, criminal и jailbreaking се появиха с mistral-moderation-2603. Предишният модел, mistral-moderation-2411, обявен за остарял на 31 март 2026 г., комбинираше първите две под един ключ, dangerous_and_criminal_content, и не откриваше jailbreak опити. Някои примери за отговори в документацията все още показват тази по-стара разбивка: винаги четете ключовете, които API връща, вместо да ги предполагате.

„Твърди“ срещу „Меки“ категории

На практика тези 11 категории попадат в две групи въз основа на критичността си и това разграничение движи цялата Ви стратегия за прагове.

Твърди категории — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal и selfharm — представляват сериозни рискове, при които фалшиво отрицателен резултат (неуспех да се открие опасно съдържание) може да има тежки последствия. Сексуалното съдържание носи правен риск и задължения за защита на непълнолетните; езикът на омразата Ви излага на значителни репутационни щети и правна отговорност; насилието включва подбуда и заплахи; категориите за опасно и престъпно съдържание обхващат високорисково поведение и незаконни дейности; самонараняването засяга безопасността на потребителя и животозастрашаващи ситуации. За тези шест категории ниски прагове от 0.1 до 0.2 са оправдани независимо от Вашия продукт и Вие умишлено приемате някои фалшиво положителни резултати.

Меките категории зависят силно от контекста на Вашето приложение, с регулируеми прагове между 0.3 и 0.8. Един легитимен медицински чатбот трябва да обсъжда health, едно финтех приложение изисква разговори, обхванати от financial, един правен асистент задължително обработва law, а някои приложения законно събират данни, попадащи под pii. Един случай се чете различно: jailbreaking не зависи от темата, а от намерението за манипулиране на модела и остава критичен за всяко приложение, отворено за публиката.

Анализ на оценките в Python

Следната функция трансформира сурово API обаждане в четима присъда: тя изолира категориите, надвишаващи 0.3, идентифицира максималната оценка и нейната категория и връща индикатор safe, който можете да използвате директно във Вашата приложна логика.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Анализира текста и връща категориите за риск."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Отделяне на категориите за риск
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores е опционален в SDK, оттук и or {}. Стартирайте двата примера във Вашия акаунт: поздравът трябва да остане много нисък навсякъде, докато въпросът за дозировката трябва да скочи при health. Това не е „опасно“ съдържание в общия смисъл — това е съдържание, за което трябва да решите дали попада във Вашия обхват.

Множество категории: Един текст може да задейства няколко предупреждения

Един единствен текст може да има високи оценки в няколко категории едновременно — заявка за помощ при данъчна измама ще удари criminal, financial и law едновременно. Вашата логика за вземане на решения трябва да отчита тази множественост и преди всичко да определя приоритети: функцията по-долу сортира нарушенията според големината на превишението на прага, казвайки Ви коя категория всъщност е довела до блокирането.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Оценява глобалния риск, като взема предвид всички категории."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Конфигурация по профил
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Профилът strict_thresholds следва точно логиката твърди/меки, описана по-горе: прагове от 0.1 до 0.15 за шестте критични категории и jailbreak, толерантност на 0.3 за контекстуалните домейни. Запазете тази структура като Ваша отправна точка и документирайте всякакви отклонения, които въвеждате.

Ключови изводи

  • mistral-moderation-2603 анализира съдържанието в 11 категории с фиксирани ключове; hate, violence или unpredictable не съществуват
  • Всяка категория връща оценка от 0.0 до 1.0
  • „Твърдите“ категории (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) изискват ниски прагове
  • „Меките“ категории (здраве, финанси, право) се настройват въз основа на контекста на Вашето приложение
  • Един единствен текст може да задейства множество категории едновременно
  • Използвайте сурови оценки (category_scores), вместо подразбиращи се булеви стойности