De 11 moderatiecategorieën
Op deze pagina
Bijgewerkt op 3 november 2026. De categorietabel vermeldde eerder drie niet-bestaande sleutels (
hate,violence,unpredictable) en lietdangerousweg. De elf onderstaande sleutels weerspiegelenmistral-moderation-2603, gebaseerd op de documentatie en typen uit demistralaiSDK 3.7.0; beschrijvingen volgen de definities van Mistral. Uitvoerwaarden die als gemeten gegevens werden gepresenteerd, waren illustratieve voorbeelden en zijn nu duidelijk als zodanig gelabeld. Bronnen: Moderation & Guardrailing · Mistral Moderation 2411 (verouderd model).
Risicocategorieën begrijpen
Het Mistral Moderation-model analyseert inhoud op 11 verschillende categorieën. Elke categorie dekt een specifiek risicotype en retourneert een onafhankelijke score tussen 0,0 en 1,0. Het is essentieel om precies te begrijpen wat elke categorie detecteert om zinvolle drempelwaarden in te stellen. Zonder deze duidelijkheid gokt u maar wat met getallen en vraagt u zich af waarom inhoud onverwacht wordt geblokkeerd.
De onderstaande tabel geeft de exacte API-sleutel voor elke categorie, wat deze omvat en welke soorten gevallen deze in de praktijk detecteert.
| Categorie | API-sleutel | Wat Mistral omvat |
|---|---|---|
| Seksuele inhoud | sexual | Expliciet beschreven of gepromote seksuele activiteiten, naaktheid of seksuele diensten; niet-expliciete educatieve of medische inhoud is doorgaans vrijgesteld |
| Haat en discriminatie | hate_and_discrimination | Vooroordelen, vijandigheid of oproepen tot discriminatie op basis van beschermde kenmerken, inclusief intimidatie |
| Geweld en bedreigingen | violence_and_threats | Beschreven, verheerlijkt, aangezet tot of bedreigd fysiek geweld, en instructies om dit te plegen |
| Gevaarlijke inhoud | dangerous | Extreem gevaarlijk gedrag met een hoog risico op lichamelijk letsel |
| Criminele activiteiten | criminal | Beschreven of gepromote illegale activiteiten |
| Zelfbeschadiging | selfharm | Zelfbeschadiging, zelfmoord, eetstoornissen: methoden, verheerlijking, intentie, gevaarlijke uitdagingen |
| Gezondheid | health | Verzoeken om of het verstrekken van gedetailleerd of gepersonaliseerd medisch advies |
| Financiën | financial | Verzoeken om of het verstrekken van gedetailleerd of gepersonaliseerd financieel advies |
| Juridisch | law | Verzoeken om of het verstrekken van gedetailleerd of gepersonaliseerd juridisch advies |
| Persoonsgegevens | pii | Verzoeken, delen of pogingen om identificerende gegevens te verkrijgen: volledige naam, adres, telefoonnummer, burgerservicenummer, bankgegevens |
| Jailbreak | jailbreaking | Pogingen om modelregels te omzeilen via prompt-manipulatie, rollenspellen of andere technieken |
De categorieën dangerous, criminal en jailbreaking zijn geïntroduceerd met mistral-moderation-2603. Het vorige model, mistral-moderation-2411, dat op 31 maart 2026 is verouderd, combineerde de eerste twee onder één sleutel, dangerous_and_criminal_content, en detecteerde geen jailbreaks. Sommige responsvoorbeelden in de documentatie tonen nog steeds deze oudere indeling: lees altijd de sleutels die de API retourneert in plaats van ze aan te nemen.
”Harde” versus “zachte” categorieën
In de praktijk vallen deze 11 categorieën uiteen in twee groepen op basis van kritikaliteit, en dit onderscheid stuurt uw volledige drempelwaardestrategie.
Harde categorieën — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal en selfharm — vertegenwoordigen ernstige risico’s waarbij een false negative (het niet detecteren van gevaarlijke inhoud) ernstige gevolgen kan hebben. Seksuele inhoud brengt juridische risico’s en verplichtingen met zich mee om minderjarigen te beschermen; haatzaaiende taal stelt u bloot aan grote reputatieschade en juridische aansprakelijkheid; geweld betreft aanzetting en bedreigingen; de categorieën voor gevaar en criminaliteit dekken risicovol gedrag en illegale activiteiten; zelfbeschadiging betreft de veiligheid van gebruikers en levensbedreigende situaties. Voor deze zes categorieën zijn lage drempelwaarden van 0,1 tot 0,2 gerechtvaardigd, ongeacht uw product, en accepteert u bewust enkele false positives.
Zachte categorieën hangen sterk af van de context van uw applicatie, met aanpasbare drempelwaarden tussen 0,3 en 0,8. Een legitieme medische chatbot moet health kunnen bespreken, een fintech-app vereist gesprekken die onder financial vallen, een juridische assistent behandelt noodzakelijkerwijs law, en sommige applicaties verzamelen wettelijk gegevens die onder pii vallen. Eén geval leest anders: jailbreaking hangt niet af van het onderwerp, maar van de intentie om het model te manipuleren, en blijft kritiek voor elke applicatie die openstaat voor het publiek.
Scores analyseren in Python
De volgende functie transformeert een ruwe API-aanroep in een leesbaar oordeel: deze isoleert categorieën die hoger zijn dan 0,3, identificeert de maximale score en de bijbehorende categorie, en retourneert een safe-indicator die u direct kunt gebruiken in uw applicatielogica.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyze text and return risk categories."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separate risk categories
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores is optioneel in de SDK, vandaar de or {}. Voer beide voorbeelden uit op uw account: de begroeting zou over de hele linie zeer laag moeten blijven, terwijl de doseringsvraag een piek zou moeten vertonen bij health. Dit is geen “gevaarlijke” inhoud in de algemene zin—het is inhoud waarover u moet beslissen of deze binnen uw scope valt.
Meerdere categorieën: één tekst kan meerdere waarschuwingen activeren
Eén enkele tekst kan gelijktijdig hoge scores hebben in meerdere categorieën—een verzoek om hulp bij belastingfraude zal criminal, financial en law tegelijkertijd raken. Uw besluitvormingslogica moet rekening houden met deze veelvoudigheid, en bovenal prioriteiten stellen: de onderstaande functie sorteert overtredingen op basis van de grootte van de drempeloverschrijding, zodat u weet welke categorie de blokkering daadwerkelijk heeft veroorzaakt.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluate global risk considering all categories."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuration by profile
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Het profiel strict_thresholds volgt exact de hierboven geschetste harde/zachte logica: drempelwaarden van 0,1 tot 0,15 voor de zes kritieke categorieën en jailbreak, tolerantie op 0,3 voor contextuele domeinen. Houd deze structuur aan als uw startpunt en documenteer eventuele afwijkingen die u introduceert.
Belangrijkste punten
mistral-moderation-2603analyseert inhoud op 11 categorieën met vaste sleutels;hate,violenceofunpredictablebestaan niet- Elke categorie retourneert een score van 0,0 tot 1,0
- “Harde” categorieën (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) vereisen lage drempelwaarden - “Zachte” categorieën (health, financial, law) passen zich aan op basis van uw applicatiecontext
- Een enkele tekst kan meerdere categorieën tegelijkertijd activeren
- Gebruik ruwe scores (
category_scores) in plaats van standaard booleans