Резултати от модерирането и прагове
На тази страница
Обновено на 3 ноември 2026 г. Профилите с прагове преди това се позоваваха на несъществуващи категории (
hate,violence,unpredictable); сега те са приведени в съответствие с единадесетте ключа отmistral-moderation-2603, включителноdangerous. Ръководството за тълкуване на резултатите се предоставя като учебен материал, тъй като Mistral не публикува такова. Мониторът преди това генерирашеKeyErrorза всяка категория, липсваща в профила, и използвашеdatetime.utcnow(), което е обявено за остаряло от Python 3.12. Източници: Moderation & Guardrailing · datetime.utcnow.
Тълкуване на резултатите от модерирането
Всяка категория връща резултат между 0.0 и 1.0. Но какво всъщност означават тези числа? И как да зададете прагове за вземане на решения във Вашето приложение? Този урок Ви дава ключовете, за да превърнете суровите резултати в автоматизирани решения – преминавайки от измерване към политика.
Първо, разберете, че Mistral не представя тези резултати като калибрирани вероятности. Резултат от 0.6 не означава „шанс шест на десет този текст да е опасен“; това е силен сигнал от класификатора. Документацията подчертава два полезни момента. Булевите стойности categories в отговора прилагат прагове, избрани от Mistral за оптимална производителност върху нейния вътрешен тестов набор; можете да ги използвате или да започнете от суровите резултати и да зададете свои собствени. В този тестов набор прецизността на категориите варира от 0.8 до 1.0, а пълнотата – от 0.7 до 1.0: възможни са както фалшиво положителни резултати, така и пропуснато съдържание, поради което ръчно настроените прагове са от значение.
Мрежата по-долу не е публикувана от Mistral: тя е отправна точка за валидиране спрямо Вашите собствени метрики.
| Диапазон | Тълкуване |
|---|---|
| 0.0 - 0.1 | Ясно безопасно съдържание, няма открит сигнал |
| 0.1 - 0.3 | Слаб сигнал, вероятно безобиден, но двусмислен |
| 0.3 - 0.5 | Умерен сигнал, потенциално проблемно съдържание |
| 0.5 - 0.7 | Силен сигнал, много вероятно проблемно съдържание |
| 0.7 - 1.0 | Много силен сигнал, явно опасно съдържание |
Дефиниране на Вашите прагове: Матрицата за решения
Изборът на праг представлява компромис между сигурност (блокиране на колкото се може повече) и удобство за употреба (минимизиране на фалшиво положителните резултати). Никоя настройка не печели и на двата фронта, а твърдението за обратното води до безкрайни спорове. Работният метод е да дефинирате три явни профила и да съпоставите всяко приложение с един от тях.
Стриктният профил е насочен към потребителско приложение, където може да има непълнолетни; балансираният профил отговаря на B2B професионално приложение с идентифицирани потребители; либералният профил е запазен за вътрешен инструмент, управляван от експерти, които знаят какво търсят.
# Три профила с прагове
PROFILES = {
"strict": {
# Потребителско приложение, възможни са деца
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B професионално приложение
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Вътрешен инструмент за експерти
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Сравнете колоната health между профилите: 0.2, след това 0.4, след това 0.7. Един и същ обмен относно дозировката ще бъде блокиран в първия случай и приет в последния. Контекстът на употреба решава, а не природата на текста.
Система за класификация на много нива
Блокирането или приемането е опростен поглед върху реалността. Между явно безопасното съдържание и явно нарушаващото съдържание съществува сива зона, където правилното решение е да се покаже, но да се маркира. Функцията по-долу въвежда това трето състояние: над прага – блокирай; над 60% от прага – предупреди и регистрирай; под това – позволи преминаването.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Зелено: безопасно съдържание
WARNING = "warning" # Оранжево: съдържание за наблюдение
BLOCKED = "blocked" # Червено: блокирано съдържание
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Класифицира съдържанието в 3 нива на риск."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Зона за предупреждение: 60% от прага
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Стойността на оранжевата зона е толкова оперативна, колкото и образователна: тя Ви показва какво се движи близо до Вашите прагове. Ако една категория генерира много предупреждения, без никога да пресече линията, знаете, че коригиране с няколко стотни би изместило значителен обем трафик.
Практически пример: Анализ и решение
Цялата система се свежда до една функция: извикайте класификатора, приложете профила, вземете решението. Сравнението по-долу служи като демонстрация – дозировка на парацетамол се блокира в стриктния профил под health и се приема в либералния профил, без нито един ред текст да се променя.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Модерира текста и взема решение въз основа на профила."""
# Извикване на API за модериране
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Прилагане на праговете от профила
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Тестване с различни профили
text = "Take 2 paracetamol tablets every 6 hours"
# Стриктен профил: вероятно блокирано (health)
result_strict = moderate_and_decide(text, "strict")
# Либерален профил: вероятно прието
result_permissive = moderate_and_decide(text, "permissive")
Динамично адаптиране на праговете
В производствена среда Вашите прагове трябва да еволюират и Вие управлявате тази еволюция чрез данни. Мониторът по-долу записва всяко решение в JSONL файл и поддържа броячи за блокирания, предупреждения и позволени преминавания, категория по категория. Полученият отчет Ви дава процент на блокиране за категория – единствената метрика, която Ви казва дали даден праг е твърде нисък.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Събира метрики за модерирането, за да адаптира праговете."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Регистрира решение за модериране."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Актуализиране на броячите
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Генерира отчет за адаптиране на праговете."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Грешки, които трябва да избягвате
Първата грешка е прилагането на един единствен праг за всички категории. Всяка категория има свое собствено разпределение на резултатите: праг от 0.3 за hate_and_discrimination не означава същото като 0.3 за health, където легитимното съдържание естествено се намира по-високо в скалата. Настройте всяка категория поотделно, дори това да означава да вземете единадесет решения вместо едно.
Втората е игнорирането на фалшиво положителните резултати. Висок процент на блокиране подкопава доверието на потребителите много по-бързо от изолиран инцидент, защото засяга хора, действащи добросъвестно. Следете процента на блокиране по категория и повишавайте праговете, когато данните го оправдават.
Третата, по-коварна грешка, е неуспехът да се регистрират решенията. Без логове не можете да адаптирате праговете си по информиран начин и се връщате към дискусии, базирани на мнения. Систематично записвайте резултатите, приложените прагове и взетите решения – този корпус е това, което ще направи следващата ревизия бърза и неоспорима.
Ключови изводи
- Резултатите варират от 0.0 до 1.0; те не са калибрирани вероятности и Mistral препоръчва да зададете свои собствени прагове
- Дефинирайте профили с прагове, адаптирани към Вашия контекст (стриктен, балансиран, либерален)
- Внедрете 3-нивова система: безопасно, предупреждение, блокирано
- Регистрирайте всички решения, за да адаптирате непрекъснато Вашите прагове
- Всяка категория изисква свой собствен праг – няма една единствена стойност, която да подхожда на всички