Wyniki moderacji i progi
Na tej stronie
Zaktualizowano 3 listopada 2026. Profile progowe wcześniej odwoływały się do nieistniejących kategorii (
hate,violence,unpredictable); obecnie są zgodne z jedenastoma kluczami z modelumistral-moderation-2603, w tym zdangerous. Przewodnik interpretacji wyników stanowi materiał szkoleniowy, ponieważ Mistral nie publikuje oficjalnego dokumentu w tej sprawie. Monitor wcześniej zgłaszał błądKeyErrordla każdej kategorii brakującej w profilu i używał funkcjidatetime.utcnow(), która jest przestarzała od wersji Python 3.12. Źródła: Moderation & Guardrailing · datetime.utcnow.
Interpretacja wyników moderacji
Każda kategoria zwraca wynik w zakresie od 0,0 do 1,0. Ale co tak naprawdę oznaczają te liczby? I jak ustawić progi decyzyjne dla swojej aplikacji? Ta lekcja da Ci klucze do przekuwania surowych wyników w zautomatyzowane decyzje – przechodząc od pomiaru do polityki.
Przede wszystkim zrozum, że Mistral nie przedstawia tych wyników jako skalibrowanych prawdopodobieństw. Wynik 0,6 nie oznacza „sześciokrotnego na dziesięć szans, że ten tekst jest niebezpieczny“; jest to silny sygnał od klasyfikatora. Dokumentacja podkreśla dwie istotne kwestie. Wartości logiczne categories w odpowiedzi stosują progi wybrane przez Mistral dla optymalnej wydajności na jego wewnętrznym zestawie testowym; możesz z nich skorzystać lub wyjść od surowych wyników i ustawić własne. Na tym zestawie testowym precyzja kategorii waha się od 0,8 do 1,0, a pełność (recall) od 0,7 do 1,0: występują zarówno fałszywe pozytywy, jak i przeoczone treści, dlatego ręcznie dostrojone progi mają kluczowe znaczenie.
Poniższa siatka nie jest publikowana przez Mistral: stanowi punkt wyjścia do walidacji na podstawie własnych metryk.
| Zakres | Interpretacja |
|---|---|
| 0,0 – 0,1 | Treść wyraźnie bezpieczna, brak wykrytego sygnału |
| 0,1 – 0,3 | Słaby sygnał, możliwie nieszkodliwy, ale niejednoznaczny |
| 0,3 – 0,5 | Umiarkowany sygnał, treść potencjalnie problematyczna |
| 0,5 – 0,7 | Silny sygnał, bardzo prawdopodobna treść problematyczna |
| 0,7 – 1,0 | Bardzo silny sygnał, ewidentnie niebezpieczna treść |
Definiowanie progów: Macierz decyzyjna
Wybór progu to kompromis między bezpieczeństwem (blokowanie jak największej liczby treści) a użytecznością (minimalizacja fałszywych pozytywów). Żadne ustawienie nie wygrywa na obu frontach jednocześnie, a twierdzenie odwrotne prowadzi do niekończących się sporów. Metodą pracy jest zdefiniowanie trzech wyraźnych profili i przypisanie każdej aplikacji do jednego z nich.
Profil ścisły jest przeznaczony dla aplikacji konsumenckiej, z której mogą korzystać nieletni; profil zrównoważony pasuje do profesjonalnej aplikacji B2B ze zidentyfikowanymi użytkownikami; profil liberalny jest zarezerwowany dla narzędzia wewnętrznego obsługiwanego przez ekspertów, którzy wiedzą, o co pytają.
# Trzy profile progowe
PROFILES = {
"strict": {
# Aplikacja konsumencka, możliwa obecność dzieci
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# Profesjonalna aplikacja B2B
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Narzędzie wewnętrzne dla ekspertów
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Porównaj kolumnę health w różnych profilach: 0,2, następnie 0,4, a potem 0,7. Ta sama wymiana zdań dotycząca dawkowania zostanie zablokowana w pierwszym przypadku i zaakceptowana w ostatnim. O decyzji decyduje kontekst użycia, a nie sama natura tekstu.
Wielopoziomowy system klasyfikacji
Blokowanie lub akceptowanie to zbyt uproszczony obraz rzeczywistości. Pomiędzy treścią ewidentnie bezpieczną a ewidentnie naruszającą zasady istnieje szara strefa, w której właściwą decyzją jest wyświetlenie treści z jednoczesnym jej oflagowaniem. Poniższa funkcja wprowadza ten trzeci stan: powyżej progu – zablokuj; powyżej 60% progu – ostrzeż i zaloguj; poniżej tej wartości – przepuść.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Zielony: treść bezpieczna
WARNING = "warning" # Pomarańczowy: treść do monitorowania
BLOCKED = "blocked" # Czerwony: treść zablokowana
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Klasyfikuje treść na 3 poziomy ryzyka."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Strefa ostrzeżenia: 60% progu
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Wartość strefy pomarańczowej jest równie operacyjna, co edukacyjna: pokazuje Ci, co ociera się o Twoje progi. Jeśli dana kategoria generuje wiele ostrzeżeń, nigdy nie przekraczając linii, wiesz, że dostosowanie o kilka setnych przesunie znaczną część ruchu.
Przykład praktyczny: Analiza i decyzja
Całość sprowadza się do jednej funkcji: wywołaj klasyfikator, zastosuj profil, podejmij decyzję. Poniższe porównanie służy jako demonstracja – dawkowanie paracetamolu zostanie zablokowane w profilu ścisłym pod kategorią health i zaakceptowane w profilu liberalnym, bez zmiany ani jednej linijki tekstu.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderuje tekst i podejmuje decyzję na podstawie profilu."""
# Wywołanie API moderacji
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Zastosowanie progów profilu
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Test z różnymi profilami
text = "Take 2 paracetamol tablets every 6 hours"
# Profil ścisły: prawdopodobnie zablokowane (health)
result_strict = moderate_and_decide(text, "strict")
# Profil liberalny: prawdopodobnie zaakceptowane
result_permissive = moderate_and_decide(text, "permissive")
Dynamiczne dostosowywanie progów
W środowisku produkcyjnym Twoje progi muszą ewoluować, a kierujesz tą ewolucją dzięki danym. Poniższy monitor zapisuje każdą decyzję do pliku JSONL i utrzymuje liczniki blokad, ostrzeżeń i przepuszczeń dla każdej kategorii. Wynikowy raport podaje wskaźnik blokad dla każdej kategorii – jest to jedyna metryka, która mówi Ci, czy próg jest zbyt niski.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Zbiera metryki moderacji w celu dostosowania progów."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Loguje decyzję moderacyjną."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Aktualizacja liczników
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Generuje raport w celu dostosowania progów."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Pułapki, których należy unikać
Pierwszą pułapką jest stosowanie jednego progu dla wszystkich kategorii. Każda kategoria ma własny rozkład wyników: próg 0,3 dla hate_and_discrimination nie oznacza tego samego co 0,3 dla health, gdzie legitne treści naturalnie osiągają wyższe wartości na skali. Dostosuj każdą kategorię indywidualnie, nawet jeśli oznacza to podjęcie jedenastu decyzji zamiast jednej.
Drugą jest ignorowanie fałszywych pozytywów. Wysoki wskaźnik blokad szybciej niszczy zaufanie użytkowników niż pojedynczy incydent, ponieważ dotyczy osób działających w dobrej wierze. Śledź wskaźnik blokad według kategorii i podnoś progi, gdy dane to uzasadniają.
Trzecia, bardziej podstępna, to brak logowania decyzji. Bez logów nie możesz w sposób świadomy dostosowywać swoich progów i wracasz do dyskusji opartych na opiniach. Systematycznie rejestruj wyniki, zastosowane progi i podjęte decyzje – to ten zbiór danych sprawi, że kolejna rewizja będzie szybka i niepodważalna.
Kluczowe wnioski
- Wyniki mieszczą się w zakresie od 0,0 do 1,0; nie są to skalibrowane prawdopodobieństwa, a Mistral zachęca do ustawiania własnych progów
- Zdefiniuj profile progowe dostosowane do swojego kontekstu (ścisły, zrównoważony, liberalny)
- Wdróż system 3-poziomowy: bezpieczny, ostrzeżenie, zablokowany
- Loguj wszystkie decyzje, aby ciągle dostosowywać swoje progi
- Każda kategoria wymaga własnego progu – nie istnieje jedna uniwersalna wartość dla wszystkich