Poäng och tröskelvärden för moderering
På denna sida
Uppdaterad 3 november 2026. Tröskelprofiler refererade tidigare till kategorier som inte finns (
hate,violence,unpredictable); de är nu anpassade till de elva nycklarna frånmistral-moderation-2603, inklusivedangerous. Guiden för tolkning av poäng tillhandahålls som en träningsreferens, eftersom Mistral inte publicerar någon sådan. Övervakaren gav tidigare ettKeyErrorför alla kategorier som saknades i profilen och användedatetime.utcnow(), vilket har avvecklats sedan Python 3.12. Källor: Moderering och skyddsräcken · datetime.utcnow.
Tolkning av modereringspoäng
Varje kategori returnerar en poäng mellan 0,0 och 1,0. Men vad betyder egentligen dessa siffror? Och hur ställer du in beslutströsklar för din applikation? Den här lektionen ger dig nycklarna för att omvandla råa poäng till automatiserade beslut – från mätning till policy.
Först och främst måste du förstå att Mistral inte presenterar dessa poäng som kalibrerade sannolikheter. En poäng på 0,6 betyder inte “sex chanser av tio att denna text är farlig”; det är en stark signal från klassificeraren. Dokumentationen lyfter fram två viktiga punkter. De booleska categories i svaret tillämpar tröskelvärden som Mistral valt för optimal prestanda på sin interna testuppsättning; du kan använda dem, eller så börjar du från de råa poängen och ställer in dina egna. På den testuppsättningen varierar precisionen per kategori från 0,8 till 1,0 och återkallelsen (recall) från 0,7 till 1,0: både falska positiva och missat innehåll förekommer, vilket är varför manuellt justerade tröskelvärden är avgörande.
Rutnätet nedan publiceras inte av Mistral: det är en utgångspunkt som du bör validera mot dina egna mätvärden.
| Intervall | Tolkning |
|---|---|
| 0,0 – 0,1 | Tydligt säkert innehåll, ingen signal upptäckt |
| 0,1 – 0,3 | Svag signal, möjligen ofarlig men tvetydig |
| 0,3 – 0,5 | Måttlig signal, potentiellt problematiskt innehåll |
| 0,5 – 0,7 | Stark signal, mycket sannolikt problematiskt innehåll |
| 0,7 – 1,0 | Mycket stark signal, uppenbart farligt innehåll |
Definiera dina tröskelvärden: Beslutsmatrisen
Att välja ett tröskelvärde är en avvägning mellan säkerhet (blockera så mycket som möjligt) och användbarhet (minimera falska positiva). Ingen inställning vinner på båda fronterna, och att hävda motsatsen leder till eviga diskussioner fram och tillbaka. Arbetsmetoden är att definiera tre explicita profiler och koppla varje applikation till en av dem.
Den strikta profilen riktar sig till en konsumentapplikation där minderåriga kan förekomma; den balanserade profilen passar en B2B-applikation för professionellt bruk med identifierade användare; den tillåtande profilen är reserverad för ett internt verktyg som hanteras av experter som vet vad de frågar efter.
# Tre tröskelprofiler
PROFILES = {
"strict": {
# Konsumentapplikation, barn kan förekomma
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B professionell applikation
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Internt verktyg för experter
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Jämför kolumnen health över profilerna: 0,2, sedan 0,4, sedan 0,7. Samma utbyte om dosering kommer att blockeras i det första fallet och accepteras i det sista. Användningskontexten avgör, inte textens natur.
Klassificeringssystem på flera nivåer
Att blockera eller acceptera är en alltför förenklad syn på verkligheten. Mellan uppenbart säkert innehåll och uppenbart kränkande innehåll finns en gråzon där det rätta beslutet är att visa innehållet men flagga det. Funktionen nedan introducerar detta tredje tillstånd: över tröskeln, blockera; över 60 % av tröskeln, varna och logga; under det, låt det passera.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Grön: säkert innehåll
WARNING = "warning" # Orange: innehåll att övervaka
BLOCKED = "blocked" # Röd: blockerat innehåll
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Klassificerar innehåll i 3 risknivåer."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Varningszon: 60 % av tröskeln
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Värdet av den orange zonen är lika mycket operativt som det är utbildande: den visar dig vad som nuddar dina tröskelvärden. Om en kategori genererar många varningar utan att någonsin korsa linjen, vet du att en justering på några hundradelar skulle flytta en betydande volym trafik.
Genomgångsexempel: Analysera och besluta
Sammansättningen kokar ner till en funktion: anropa klassificeraren, tillämpa profilen, fatta beslutet. Jämförelsen nedan tjänar som demonstration – en dosering av paracetamol blockeras i strikt profil under health och accepteras i tillåtande profil, utan att en enda textrad ändras.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Modererar text och fattar ett beslut baserat på profilen."""
# Anrop till modererings-API
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Tillämpa profilens tröskelvärden
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Testa med olika profiler
text = "Take 2 paracetamol tablets every 6 hours"
# Strikt profil: sannolikt blockerad (health)
result_strict = moderate_and_decide(text, "strict")
# Tillåtande profil: sannolikt accepterad
result_permissive = moderate_and_decide(text, "permissive")
Dynamisk justering av tröskelvärden
I produktion måste dina tröskelvärden utvecklas, och du styr den utvecklingen med data. Övervakaren nedan skriver varje beslut till en JSONL-fil och håller räknare för blockeringar, varningar och godkännanden, kategori för kategori. Den resulterande rapporten ger dig en blockeringsfrekvens per kategori – den enda metrik som berättar om ett tröskelvärde är för lågt.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Samlar in modereringsmätvärden för att justera tröskelvärden."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Loggar ett modereringsbeslut."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Uppdatera räknare
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Genererar en rapport för att justera tröskelvärden."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Fallgropar att undvika
Den första fallgropen är ett enda tröskelvärde som tillämpas på alla kategorier. Varje kategori har sin egen poängfördelning: ett tröskelvärde på 0,3 för hate_and_discrimination betyder inte samma sak som 0,3 för health, där legitimt innehåll naturligt ligger högre på skalan. Justera varje kategori individuellt, även om det innebär att du fattar elva beslut istället för ett.
Den andra är att ignorera falska positiva. En hög blockeringsfrekvens urholkar användarnas förtroende mycket snabbare än en isolerad incident, eftersom det drabbar människor som agerar i god tro. Spåra blockeringsfrekvensen per kategori och höj tröskelvärdena när datan motiverar det.
Den tredje, mer lömska, är att underlåta att logga beslut. Utan loggar kan du inte justera dina tröskelvärden på ett informerat sätt och du återgår till diskussioner baserade på åsikter. Registrera systematiskt poäng, tillämpade tröskelvärden och fattade beslut – detta korpus är det som kommer att göra nästa revision snabb och oemotsäglig.
Viktiga punkter
- Poäng sträcker sig från 0,0 till 1,0; de är inte kalibrerade sannolikheter, och Mistral uppmuntrar till att du ställer in dina egna tröskelvärden
- Definiera tröskelprofiler anpassade till din kontext (strikt, balanserad, tillåtande)
- Implementera ett system på 3 nivåer: safe, warning, blocked
- Logga alla beslut för att kontinuerligt justera dina tröskelvärden
- Varje kategori kräver sitt eget tröskelvärde – inget enskilt värde passar alla