Премини към основното съдържание
Български— Изберете език
Меню

Резултати от модерирането и прагове

Урок 7 от 12 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Тълкуване на резултатите от модерирането
  2. Дефиниране на Вашите прагове: Матрицата за решения
  3. Система за класификация на много нива
  4. Практически пример: Анализ и решение
  5. Динамично адаптиране на праговете
  6. Грешки, които трябва да избягвате
  7. Ключови изводи

Обновено на 3 ноември 2026 г. Профилите с прагове преди това се позоваваха на несъществуващи категории (hate, violence, unpredictable); сега те са приведени в съответствие с единадесетте ключа от mistral-moderation-2603, включително dangerous. Ръководството за тълкуване на резултатите се предоставя като учебен материал, тъй като Mistral не публикува такова. Мониторът преди това генерираше KeyError за всяка категория, липсваща в профила, и използваше datetime.utcnow(), което е обявено за остаряло от Python 3.12. Източници: Moderation & Guardrailing · datetime.utcnow.

Тълкуване на резултатите от модерирането

Всяка категория връща резултат между 0.0 и 1.0. Но какво всъщност означават тези числа? И как да зададете прагове за вземане на решения във Вашето приложение? Този урок Ви дава ключовете, за да превърнете суровите резултати в автоматизирани решения – преминавайки от измерване към политика.

Първо, разберете, че Mistral не представя тези резултати като калибрирани вероятности. Резултат от 0.6 не означава „шанс шест на десет този текст да е опасен“; това е силен сигнал от класификатора. Документацията подчертава два полезни момента. Булевите стойности categories в отговора прилагат прагове, избрани от Mistral за оптимална производителност върху нейния вътрешен тестов набор; можете да ги използвате или да започнете от суровите резултати и да зададете свои собствени. В този тестов набор прецизността на категориите варира от 0.8 до 1.0, а пълнотата – от 0.7 до 1.0: възможни са както фалшиво положителни резултати, така и пропуснато съдържание, поради което ръчно настроените прагове са от значение.

Мрежата по-долу не е публикувана от Mistral: тя е отправна точка за валидиране спрямо Вашите собствени метрики.

ДиапазонТълкуване
0.0 - 0.1Ясно безопасно съдържание, няма открит сигнал
0.1 - 0.3Слаб сигнал, вероятно безобиден, но двусмислен
0.3 - 0.5Умерен сигнал, потенциално проблемно съдържание
0.5 - 0.7Силен сигнал, много вероятно проблемно съдържание
0.7 - 1.0Много силен сигнал, явно опасно съдържание

Дефиниране на Вашите прагове: Матрицата за решения

Изборът на праг представлява компромис между сигурност (блокиране на колкото се може повече) и удобство за употреба (минимизиране на фалшиво положителните резултати). Никоя настройка не печели и на двата фронта, а твърдението за обратното води до безкрайни спорове. Работният метод е да дефинирате три явни профила и да съпоставите всяко приложение с един от тях.

Стриктният профил е насочен към потребителско приложение, където може да има непълнолетни; балансираният профил отговаря на B2B професионално приложение с идентифицирани потребители; либералният профил е запазен за вътрешен инструмент, управляван от експерти, които знаят какво търсят.

# Три профила с прагове
PROFILES = {
    "strict": {
        # Потребителско приложение, възможни са деца
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B професионално приложение
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Вътрешен инструмент за експерти
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Сравнете колоната health между профилите: 0.2, след това 0.4, след това 0.7. Един и същ обмен относно дозировката ще бъде блокиран в първия случай и приет в последния. Контекстът на употреба решава, а не природата на текста.

Система за класификация на много нива

Блокирането или приемането е опростен поглед върху реалността. Между явно безопасното съдържание и явно нарушаващото съдържание съществува сива зона, където правилното решение е да се покаже, но да се маркира. Функцията по-долу въвежда това трето състояние: над прага – блокирай; над 60% от прага – предупреди и регистрирай; под това – позволи преминаването.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Зелено: безопасно съдържание
    WARNING = "warning"    # Оранжево: съдържание за наблюдение
    BLOCKED = "blocked"    # Червено: блокирано съдържание

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Класифицира съдържанието в 3 нива на риск."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Зона за предупреждение: 60% от прага
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Стойността на оранжевата зона е толкова оперативна, колкото и образователна: тя Ви показва какво се движи близо до Вашите прагове. Ако една категория генерира много предупреждения, без никога да пресече линията, знаете, че коригиране с няколко стотни би изместило значителен обем трафик.

Практически пример: Анализ и решение

Цялата система се свежда до една функция: извикайте класификатора, приложете профила, вземете решението. Сравнението по-долу служи като демонстрация – дозировка на парацетамол се блокира в стриктния профил под health и се приема в либералния профил, без нито един ред текст да се променя.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Модерира текста и взема решение въз основа на профила."""
    # Извикване на API за модериране
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Прилагане на праговете от профила
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Тестване с различни профили
text = "Take 2 paracetamol tablets every 6 hours"

# Стриктен профил: вероятно блокирано (health)
result_strict = moderate_and_decide(text, "strict")

# Либерален профил: вероятно прието
result_permissive = moderate_and_decide(text, "permissive")

Динамично адаптиране на праговете

В производствена среда Вашите прагове трябва да еволюират и Вие управлявате тази еволюция чрез данни. Мониторът по-долу записва всяко решение в JSONL файл и поддържа броячи за блокирания, предупреждения и позволени преминавания, категория по категория. Полученият отчет Ви дава процент на блокиране за категория – единствената метрика, която Ви казва дали даден праг е твърде нисък.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Събира метрики за модерирането, за да адаптира праговете."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Регистрира решение за модериране."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Актуализиране на броячите
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Генерира отчет за адаптиране на праговете."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Грешки, които трябва да избягвате

Първата грешка е прилагането на един единствен праг за всички категории. Всяка категория има свое собствено разпределение на резултатите: праг от 0.3 за hate_and_discrimination не означава същото като 0.3 за health, където легитимното съдържание естествено се намира по-високо в скалата. Настройте всяка категория поотделно, дори това да означава да вземете единадесет решения вместо едно.

Втората е игнорирането на фалшиво положителните резултати. Висок процент на блокиране подкопава доверието на потребителите много по-бързо от изолиран инцидент, защото засяга хора, действащи добросъвестно. Следете процента на блокиране по категория и повишавайте праговете, когато данните го оправдават.

Третата, по-коварна грешка, е неуспехът да се регистрират решенията. Без логове не можете да адаптирате праговете си по информиран начин и се връщате към дискусии, базирани на мнения. Систематично записвайте резултатите, приложените прагове и взетите решения – този корпус е това, което ще направи следващата ревизия бърза и неоспорима.

Ключови изводи

  • Резултатите варират от 0.0 до 1.0; те не са калибрирани вероятности и Mistral препоръчва да зададете свои собствени прагове
  • Дефинирайте профили с прагове, адаптирани към Вашия контекст (стриктен, балансиран, либерален)
  • Внедрете 3-нивова система: безопасно, предупреждение, блокирано
  • Регистрирайте всички решения, за да адаптирате непрекъснато Вашите прагове
  • Всяка категория изисква свой собствен праг – няма една единствена стойност, която да подхожда на всички