Skóre moderace a prahové hodnoty
Na této stránce
Aktualizováno 3. listopadu 2026. Profily prahových hodnot dříve odkazovaly na neexistující kategorie (
hate,violence,unpredictable); nyní jsou v souladu s jedenácti klíči z modelumistral-moderation-2603, včetně kategoriedangerous. Průvodce interpretací skóre slouží jako referenční materiál pro školení, protože společnost Mistral žádný oficiální nezveřejňuje. Monitor dříve vyvolával chybuKeyErroru jakékoli kategorie chybějící v profilu a používal funkcidatetime.utcnow(), která je od Pythonu 3.12 zastaralá. Zdroje: Moderation & Guardrailing · datetime.utcnow.
Interpretace skóre moderace
Každá kategorie vrací skóre mezi 0,0 a 1,0. Co však tato čísla ve skutečnosti znamenají? A jak nastavíš rozhodovací prahy pro svou aplikaci? Tato lekce ti dá klíče k tomu, jak proměnit syrová skóre na automatizovaná rozhodnutí – přejdeš tak od měření k politice.
Nejprve pochop, že Mistral neprezentuje tato skóre jako kalibrované pravděpodobnosti. Skóre 0,6 neznamená „šestiprocentní šanci, že je text nebezpečný“; je to silný signál od klasifikátoru. Dokumentace zdůrazňuje dva užitečné body. Booleovské hodnoty categories v odpovědi aplikují prahy, které Mistral zvolil pro optimální výkon na svém interním testovacím souboru; můžeš je použít, nebo začít od syrových skóre a nastavit si vlastní. Na tomto testovacím souboru se přesnost kategorií pohybuje od 0,8 do 1,0 a úplnost (recall) od 0,7 do 1,0: dochází jak k falešně pozitivním výsledkům, tak k přehlédnutí obsahu, což je důvod, proč ručně laděné prahy záleží.
Následující mřížka není publikována společností Mistral: slouží jako výchozí reference pro ověření proti tvým vlastním metrikám.
| Rozsah | Interpretace |
|---|---|
| 0,0 – 0,1 | Zjevně bezpečný obsah, žádný detekovaný signál |
| 0,1 – 0,3 | Slabý signál, možná neškodný, ale nejednoznačný |
| 0,3 – 0,5 | Střední signál, potenciálně problematický obsah |
| 0,5 – 0,7 | Silný signál, velmi pravděpodobně problematický obsah |
| 0,7 – 1,0 | Velmi silný signál, zjevně nebezpečný obsah |
Definice tvých prahů: Rozhodovací matice
Volba prahu je kompromisem mezi bezpečností (blokování co největšího množství obsahu) a použitelností (minimalizace falešně pozitivních výsledků). Žádné nastavení nevyhraje na obou frontách současně a tvrzení opaku vede k nekonečným hádkám. Funkční metodou je definovat tři explicitní profily a každou aplikaci k jednomu z nich přiřadit.
Přísný profil cílí na spotřebitelskou aplikaci, kde mohou být přítomny nezletilé osoby; vyvážený profil sedí na B2B profesionální aplikaci s identifikovanými uživateli; permisivní profil je vyhrazen pro interní nástroj obsluhovaný experty, kteří vědí, co požadují.
# Three threshold profiles
PROFILES = {
"strict": {
# Consumer application, children possible
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B professional application
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Internal tool for experts
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Porovnej sloupec health napříč profily: 0,2, poté 0,4 a nakonec 0,7. Stejná konverzace o dávkování bude v prvním případě zablokována a v posledním přijata. O výsledku rozhoduje kontext použití, nikoliv povaha textu.
Systém víceúrovňové klasifikace
Blokování nebo přijímání je zjednodušený pohled na realitu. Mezi zjevně bezpečným obsahem a zjevně porušujícím obsahem leží šedá zóna, kde je správným rozhodnutím obsah zobrazit, ale označit jej. Následující funkce zavádí tento třetí stav: nad prahem blokuj; nad 60 % prahu upozorni a zaznamenej; pod touto hranicí nech projít.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Green: safe content
WARNING = "warning" # Orange: content to monitor
BLOCKED = "blocked" # Red: blocked content
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Classifies content into 3 risk levels."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Warning zone: 60% of threshold
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Hodnota oranžové zóny je stejně tak operativní, jako vzdělávací: ukazuje ti, co se pohybuje těsně u tvých prahů. Pokud nějaká kategorie generuje mnoho upozornění, aniž by kdy překročila hranici, víš, že úprava o několik setin by posunula významný objem provozu.
Praktický příklad: Analýza a rozhodnutí
Celá sestava se redukuje na jednu funkci: zavolej klasifikátor, aplikuj profil, učin rozhodnutí. Následující porovnání slouží jako demonstrace – dávkování paracetamolu je v přísném profilu pod kategorií health zablokováno a v permisivním profilu přijato, aniž by se změnil jediný řádek textu.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderates text and makes a decision based on the profile."""
# Call to moderation API
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Apply profile thresholds
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Test with different profiles
text = "Take 2 paracetamol tablets every 6 hours"
# Strict profile: likely blocked (health)
result_strict = moderate_and_decide(text, "strict")
# Permissive profile: likely accepted
result_permissive = moderate_and_decide(text, "permissive")
Dynamické upravování prahů
V produkčním prostředí se tvé prahy musí vyvíjet a ty tento vývoj řídíš pomocí dat. Následující monitor zapisuje každé rozhodnutí do souboru JSONL a udržuje čítače pro blokování, upozornění a průchody, kategorie po kategorii. Výsledná zpráva ti poskytne míru blokování na kategorii – jedinou metriku, která ti řekne, zda je práh příliš nízký.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Collects moderation metrics to adjust thresholds."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Logs a moderation decision."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Update counters
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Generates a report to adjust thresholds."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Pastem, kterým se vyhnout
První pastí je jediný práh aplikovaný na všechny kategorie. Každá kategorie má své vlastní rozložení skóre: práh 0,3 pro hate_and_discrimination neznamená totéž co 0,3 pro health, kde se legitimní obsah přirozeně pohybuje výše na stupnici. Uprav každou kategorii individuálně, i když to znamená učinit jedenáct rozhodnutí místo jednoho.
Druhou pastí je ignorování falešně pozitivních výsledků. Vysoká míra blokování narušuje důvěru uživatelů mnohem rychleji než izolovaný incident, protože postihuje lidi jednající v dobré víře. Sleduj míru blokování podle kategorie a zvyšuj prahy, když to data odůvodňují.
Třetí, zákeřnější pastí je nezaznamenávání rozhodnutí. Bez logů nemůžeš informovaně upravovat své prahy a vracíš se k diskusím založeným na názorech. Systematicky zaznamenávej skóre, aplikované prahy a učiněná rozhodnutí – tento korpus je tím, co učiní další revizi rychlou a nepopiratelnou.
Klíčové poznatky
- Skóre se pohybují od 0,0 do 1,0; nejsou to kalibrované pravděpodobnosti a Mistral doporučuje nastavit si vlastní prahy
- Definuj profily prahových hodnot přizpůsobené tvému kontextu (přísný, vyvážený, permisivní)
- Implementuj tříúrovňový systém: bezpečný, upozornění, zablokovaný
- Zaznamenávej všechna rozhodnutí pro průběžné upravování tvých prahů
- Každá kategorie vyžaduje svůj vlastní práh – žádná jediná hodnota nevyhovuje všem