Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Moderationsscorer og tærskler

Lektion 7 af 12 Opdateret 3. november 2026 Udvikler
På denne side
  1. Fortolkning af moderationsscorer
  2. Definition af dine tærskler: Beslutningsmatrixen
  3. Klassificeringssystem på flere niveauer
  4. Gennemarbejdet eksempel: Analysér og beslut
  5. Dynamisk justering af tærskler
  6. Faldgruber du skal undgå
  7. Vigtige pointer

Opdateret 3. november 2026. Tærskelprofilerne refererede tidligere til ikke-eksisterende kategorier (hate, violence, unpredictable); de er nu justeret til de elleve nøgler fra mistral-moderation-2603, herunder dangerous. Guiden til fortolkning af scorer leveres som en træningsreference, da Mistral ikke offentliggør en sådan. Monitoren udløste tidligere en KeyError for enhver kategori, der manglede i profilen, og brugte datetime.utcnow(), som er blevet forældet siden Python 3.12. Kilder: Moderation & Guardrailing · datetime.utcnow.

Fortolkning af moderationsscorer

Hver kategori returnerer en score mellem 0,0 og 1,0. Men hvad betyder disse tal egentlig? Og hvordan fastsætter du beslutningstærskler for din applikation? Denne lektion giver dig nøglerne til at omdanne rå scorer til automatiserede beslutninger – fra måling til politik.

Først skal du forstå, at Mistral ikke præsenterer disse scorer som kalibrerede sandsynligheder. En score på 0,6 betyder ikke „en chance på seks ud af ti for, at denne tekst er farlig”; det er et stærkt signal fra klassificeringen. Dokumentationen fremhæver to nyttige punkter. Den booleske categories i svaret anvender tærskler, som Mistral har valgt for optimal ydeevne på sit interne testsæt; du kan bruge dem eller starte fra de rå scorer og sætte dine egne. På dette testsæt varierer præcisionen pr. kategori fra 0,8 til 1,0 og recall fra 0,7 til 1,0: falske positiver og overset indhold forekommer begge dele, hvilket er grunden til, at manuelt justerede tærskler er vigtige.

Gitteret nedenfor er ikke offentliggjort af Mistral: det er en startreference, som du skal validere mod dine egne metriker.

IntervalFortolkning
0,0 - 0,1Klart sikkert indhold, intet signal registreret
0,1 - 0,3Svagt signal, muligvis harmløst, men tvetydigt
0,3 - 0,5Moderat signal, potentielt problematisk indhold
0,5 - 0,7Stærkt signal, meget sandsynligt problematisk indhold
0,7 - 1,0Meget stærkt signal, åbenlyst farligt indhold

Definition af dine tærskler: Beslutningsmatrixen

Valg af en tærskel er en afvejning mellem sikkerhed (at blokere så meget som muligt) og brugervenlighed (at minimere falske positiver). Ingen indstilling vinder på begge fronter, og påstande om det modsatte fører kun til endeløse diskussioner frem og tilbage. Arbejdsmetoden består i at definere tre eksplicitte profiler og mappe hver applikation til én af dem.

Den strenge profil målretter en forbrugerapplikation, hvor mindreårige kan være til stede; den afbalancerede profil passer til en B2B-professionel applikation med identificerede brugere; den lempelige profil er reserveret til et internt værktøj, der håndteres af eksperter, der ved, hvad de spørger om.

# Tre tærskelprofiler
PROFILES = {
    "strict": {
        # Forbrugerapplikation, børn mulige
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B professionel applikation
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Internt værktøj til eksperter
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Sammenlign kolonnen health på tværs af profilerne: 0,2, derefter 0,4, derefter 0,7. Den samme udveksling om dosering vil blive blokeret i det første tilfælde og accepteret i det sidste. Brugskonteksten afgør, ikke tekstens natur.

Klassificeringssystem på flere niveauer

At blokere eller acceptere er en alt for forenklet opfattelse af virkeligheden. Mellem åbenlyst sikkert indhold og åbenlyst overtrædende indhold ligger en gråzone, hvor den rigtige beslutning er at vise indholdet, men flagge det. Funktionen nedenfor introducerer denne tredje tilstand: over tærsklen blokeres; over 60 % af tærsklen advares og logges; under dette lad det passere.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Grøn: sikkert indhold
    WARNING = "warning"    # Orange: indhold der skal overvåges
    BLOCKED = "blocked"    # Rød: blokeret indhold

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Klassificerer indhold i 3 risikoniveauer."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Advarselszone: 60 % af tærsklen
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Værdien af den orange zone er lige så meget operationel som uddannelsesmæssig: den viser dig, hvad der stryger tæt på dine tærskler. Hvis en kategori genererer mange advarsler uden nogensinde at krydse linjen, ved du, at en justering på nogle få hundrededele ville flytte et betydeligt volumen af trafik.

Gennemarbejdet eksempel: Analysér og beslut

Samlingen koges ned til én funktion: kald klassificeringen, anvend profilen, træf beslutningen. Sammenligningen nedenfor tjener som demonstration – en paracetamoldosering blokeres i den strenge profil under health og accepteres i den lempelige profil, uden at en eneste linje tekst ændres.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Modererer tekst og træffer en beslutning baseret på profilen."""
    # Kald til moderation API
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Anvend profil-tærskler
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Test med forskellige profiler
text = "Take 2 paracetamol tablets every 6 hours"

# Streng profil: sandsynligvis blokeret (health)
result_strict = moderate_and_decide(text, "strict")

# Lempelig profil: sandsynligvis accepteret
result_permissive = moderate_and_decide(text, "permissive")

Dynamisk justering af tærskler

I produktion skal dine tærskler udvikle sig, og du styrer denne udvikling med data. Monitoren nedenfor skriver hver beslutning til en JSONL-fil og vedligeholder tællere for blokeringer, advarsler og passager, kategori for kategori. Den resulterende rapport giver dig en blokeringsrate pr. kategori – den eneste metrik, der fortæller dig, om en tærskel er for lav.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Indsamler moderationsmetrikker for at justere tærskler."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Logger en moderationsbeslutning."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Opdater tællere
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Genererer en rapport for at justere tærskler."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Faldgruber du skal undgå

Den første faldgrube er en enkelt tærskel anvendt på alle kategorier. Hver kategori har sin egen scorefordeling: en tærskel på 0,3 for hate_and_discrimination betyder ikke det samme som 0,3 for health, hvor legitimt indhold naturligt ligger højere på skalaen. Justér hver kategori individuelt, selvom det betyder, at du skal træffe elleve beslutninger i stedet for én.

Den anden er at ignorere falske positiver. En høj blokeringsrate undergraver brugernes tillid meget hurtigere end en isoleret hændelse, fordi det påvirker mennesker, der handler i god tro. Spor blokeringsraten efter kategori og hæv tærsklerne, når dataene berettiger det.

Den tredje, mere snigende, er undladelse af at logge beslutninger. Uden logs kan du ikke justere dine tærskler på et oplyst grundlag, og du falder tilbage til diskussioner baseret på meninger. Registrér systematisk scorer, anvendte tærskler og trufne beslutninger – dette korpus er det, der vil gøre den næste revision hurtig og ubestridelig.

Vigtige pointer

  • Scorer spænder fra 0,0 til 1,0; de er ikke kalibrerede sandsynligheder, og Mistral opfordrer til at sætte dine egne tærskler
  • Definer tærskelprofiler tilpasset din kontekst (streng, afbalanceret, lempelig)
  • Implementér et 3-niveau system: sikker, advarsel, blokeret
  • Log alle beslutninger for løbende at justere dine tærskler
  • Hver kategori kræver sin egen tærskel – én værdi passer ikke til alle