Moderationsscorer og tærskler
På denne side
Opdateret 3. november 2026. Tærskelprofilerne refererede tidligere til ikke-eksisterende kategorier (
hate,violence,unpredictable); de er nu justeret til de elleve nøgler framistral-moderation-2603, herunderdangerous. Guiden til fortolkning af scorer leveres som en træningsreference, da Mistral ikke offentliggør en sådan. Monitoren udløste tidligere enKeyErrorfor enhver kategori, der manglede i profilen, og brugtedatetime.utcnow(), som er blevet forældet siden Python 3.12. Kilder: Moderation & Guardrailing · datetime.utcnow.
Fortolkning af moderationsscorer
Hver kategori returnerer en score mellem 0,0 og 1,0. Men hvad betyder disse tal egentlig? Og hvordan fastsætter du beslutningstærskler for din applikation? Denne lektion giver dig nøglerne til at omdanne rå scorer til automatiserede beslutninger – fra måling til politik.
Først skal du forstå, at Mistral ikke præsenterer disse scorer som kalibrerede sandsynligheder. En score på 0,6 betyder ikke „en chance på seks ud af ti for, at denne tekst er farlig”; det er et stærkt signal fra klassificeringen. Dokumentationen fremhæver to nyttige punkter. Den booleske categories i svaret anvender tærskler, som Mistral har valgt for optimal ydeevne på sit interne testsæt; du kan bruge dem eller starte fra de rå scorer og sætte dine egne. På dette testsæt varierer præcisionen pr. kategori fra 0,8 til 1,0 og recall fra 0,7 til 1,0: falske positiver og overset indhold forekommer begge dele, hvilket er grunden til, at manuelt justerede tærskler er vigtige.
Gitteret nedenfor er ikke offentliggjort af Mistral: det er en startreference, som du skal validere mod dine egne metriker.
| Interval | Fortolkning |
|---|---|
| 0,0 - 0,1 | Klart sikkert indhold, intet signal registreret |
| 0,1 - 0,3 | Svagt signal, muligvis harmløst, men tvetydigt |
| 0,3 - 0,5 | Moderat signal, potentielt problematisk indhold |
| 0,5 - 0,7 | Stærkt signal, meget sandsynligt problematisk indhold |
| 0,7 - 1,0 | Meget stærkt signal, åbenlyst farligt indhold |
Definition af dine tærskler: Beslutningsmatrixen
Valg af en tærskel er en afvejning mellem sikkerhed (at blokere så meget som muligt) og brugervenlighed (at minimere falske positiver). Ingen indstilling vinder på begge fronter, og påstande om det modsatte fører kun til endeløse diskussioner frem og tilbage. Arbejdsmetoden består i at definere tre eksplicitte profiler og mappe hver applikation til én af dem.
Den strenge profil målretter en forbrugerapplikation, hvor mindreårige kan være til stede; den afbalancerede profil passer til en B2B-professionel applikation med identificerede brugere; den lempelige profil er reserveret til et internt værktøj, der håndteres af eksperter, der ved, hvad de spørger om.
# Tre tærskelprofiler
PROFILES = {
"strict": {
# Forbrugerapplikation, børn mulige
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B professionel applikation
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Internt værktøj til eksperter
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Sammenlign kolonnen health på tværs af profilerne: 0,2, derefter 0,4, derefter 0,7. Den samme udveksling om dosering vil blive blokeret i det første tilfælde og accepteret i det sidste. Brugskonteksten afgør, ikke tekstens natur.
Klassificeringssystem på flere niveauer
At blokere eller acceptere er en alt for forenklet opfattelse af virkeligheden. Mellem åbenlyst sikkert indhold og åbenlyst overtrædende indhold ligger en gråzone, hvor den rigtige beslutning er at vise indholdet, men flagge det. Funktionen nedenfor introducerer denne tredje tilstand: over tærsklen blokeres; over 60 % af tærsklen advares og logges; under dette lad det passere.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Grøn: sikkert indhold
WARNING = "warning" # Orange: indhold der skal overvåges
BLOCKED = "blocked" # Rød: blokeret indhold
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Klassificerer indhold i 3 risikoniveauer."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Advarselszone: 60 % af tærsklen
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Værdien af den orange zone er lige så meget operationel som uddannelsesmæssig: den viser dig, hvad der stryger tæt på dine tærskler. Hvis en kategori genererer mange advarsler uden nogensinde at krydse linjen, ved du, at en justering på nogle få hundrededele ville flytte et betydeligt volumen af trafik.
Gennemarbejdet eksempel: Analysér og beslut
Samlingen koges ned til én funktion: kald klassificeringen, anvend profilen, træf beslutningen. Sammenligningen nedenfor tjener som demonstration – en paracetamoldosering blokeres i den strenge profil under health og accepteres i den lempelige profil, uden at en eneste linje tekst ændres.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Modererer tekst og træffer en beslutning baseret på profilen."""
# Kald til moderation API
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Anvend profil-tærskler
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Test med forskellige profiler
text = "Take 2 paracetamol tablets every 6 hours"
# Streng profil: sandsynligvis blokeret (health)
result_strict = moderate_and_decide(text, "strict")
# Lempelig profil: sandsynligvis accepteret
result_permissive = moderate_and_decide(text, "permissive")
Dynamisk justering af tærskler
I produktion skal dine tærskler udvikle sig, og du styrer denne udvikling med data. Monitoren nedenfor skriver hver beslutning til en JSONL-fil og vedligeholder tællere for blokeringer, advarsler og passager, kategori for kategori. Den resulterende rapport giver dig en blokeringsrate pr. kategori – den eneste metrik, der fortæller dig, om en tærskel er for lav.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Indsamler moderationsmetrikker for at justere tærskler."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Logger en moderationsbeslutning."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Opdater tællere
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Genererer en rapport for at justere tærskler."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Faldgruber du skal undgå
Den første faldgrube er en enkelt tærskel anvendt på alle kategorier. Hver kategori har sin egen scorefordeling: en tærskel på 0,3 for hate_and_discrimination betyder ikke det samme som 0,3 for health, hvor legitimt indhold naturligt ligger højere på skalaen. Justér hver kategori individuelt, selvom det betyder, at du skal træffe elleve beslutninger i stedet for én.
Den anden er at ignorere falske positiver. En høj blokeringsrate undergraver brugernes tillid meget hurtigere end en isoleret hændelse, fordi det påvirker mennesker, der handler i god tro. Spor blokeringsraten efter kategori og hæv tærsklerne, når dataene berettiger det.
Den tredje, mere snigende, er undladelse af at logge beslutninger. Uden logs kan du ikke justere dine tærskler på et oplyst grundlag, og du falder tilbage til diskussioner baseret på meninger. Registrér systematisk scorer, anvendte tærskler og trufne beslutninger – dette korpus er det, der vil gøre den næste revision hurtig og ubestridelig.
Vigtige pointer
- Scorer spænder fra 0,0 til 1,0; de er ikke kalibrerede sandsynligheder, og Mistral opfordrer til at sætte dine egne tærskler
- Definer tærskelprofiler tilpasset din kontekst (streng, afbalanceret, lempelig)
- Implementér et 3-niveau system: sikker, advarsel, blokeret
- Log alle beslutninger for løbende at justere dine tærskler
- Hver kategori kræver sin egen tærskel – én værdi passer ikke til alle