Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

De 11 moderatiecategorieën

Les 6 van 12 Bijgewerkt op 3 november 2026 Ontwikkelaar
Op deze pagina
  1. Risicocategorieën begrijpen
  2. ”Harde” versus “zachte” categorieën
  3. Scores analyseren in Python
  4. Meerdere categorieën: één tekst kan meerdere waarschuwingen activeren
  5. Belangrijkste punten

Bijgewerkt op 3 november 2026. De categorietabel vermeldde eerder drie niet-bestaande sleutels (hate, violence, unpredictable) en liet dangerous weg. De elf onderstaande sleutels weerspiegelen mistral-moderation-2603, gebaseerd op de documentatie en typen uit de mistralai SDK 3.7.0; beschrijvingen volgen de definities van Mistral. Uitvoerwaarden die als gemeten gegevens werden gepresenteerd, waren illustratieve voorbeelden en zijn nu duidelijk als zodanig gelabeld. Bronnen: Moderation & Guardrailing · Mistral Moderation 2411 (verouderd model).

Risicocategorieën begrijpen

Het Mistral Moderation-model analyseert inhoud op 11 verschillende categorieën. Elke categorie dekt een specifiek risicotype en retourneert een onafhankelijke score tussen 0,0 en 1,0. Het is essentieel om precies te begrijpen wat elke categorie detecteert om zinvolle drempelwaarden in te stellen. Zonder deze duidelijkheid gokt u maar wat met getallen en vraagt u zich af waarom inhoud onverwacht wordt geblokkeerd.

De onderstaande tabel geeft de exacte API-sleutel voor elke categorie, wat deze omvat en welke soorten gevallen deze in de praktijk detecteert.

CategorieAPI-sleutelWat Mistral omvat
Seksuele inhoudsexualExpliciet beschreven of gepromote seksuele activiteiten, naaktheid of seksuele diensten; niet-expliciete educatieve of medische inhoud is doorgaans vrijgesteld
Haat en discriminatiehate_and_discriminationVooroordelen, vijandigheid of oproepen tot discriminatie op basis van beschermde kenmerken, inclusief intimidatie
Geweld en bedreigingenviolence_and_threatsBeschreven, verheerlijkt, aangezet tot of bedreigd fysiek geweld, en instructies om dit te plegen
Gevaarlijke inhouddangerousExtreem gevaarlijk gedrag met een hoog risico op lichamelijk letsel
Criminele activiteitencriminalBeschreven of gepromote illegale activiteiten
ZelfbeschadigingselfharmZelfbeschadiging, zelfmoord, eetstoornissen: methoden, verheerlijking, intentie, gevaarlijke uitdagingen
GezondheidhealthVerzoeken om of het verstrekken van gedetailleerd of gepersonaliseerd medisch advies
FinanciënfinancialVerzoeken om of het verstrekken van gedetailleerd of gepersonaliseerd financieel advies
JuridischlawVerzoeken om of het verstrekken van gedetailleerd of gepersonaliseerd juridisch advies
PersoonsgegevenspiiVerzoeken, delen of pogingen om identificerende gegevens te verkrijgen: volledige naam, adres, telefoonnummer, burgerservicenummer, bankgegevens
JailbreakjailbreakingPogingen om modelregels te omzeilen via prompt-manipulatie, rollenspellen of andere technieken

De categorieën dangerous, criminal en jailbreaking zijn geïntroduceerd met mistral-moderation-2603. Het vorige model, mistral-moderation-2411, dat op 31 maart 2026 is verouderd, combineerde de eerste twee onder één sleutel, dangerous_and_criminal_content, en detecteerde geen jailbreaks. Sommige responsvoorbeelden in de documentatie tonen nog steeds deze oudere indeling: lees altijd de sleutels die de API retourneert in plaats van ze aan te nemen.

”Harde” versus “zachte” categorieën

In de praktijk vallen deze 11 categorieën uiteen in twee groepen op basis van kritikaliteit, en dit onderscheid stuurt uw volledige drempelwaardestrategie.

Harde categorieën — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal en selfharm — vertegenwoordigen ernstige risico’s waarbij een false negative (het niet detecteren van gevaarlijke inhoud) ernstige gevolgen kan hebben. Seksuele inhoud brengt juridische risico’s en verplichtingen met zich mee om minderjarigen te beschermen; haatzaaiende taal stelt u bloot aan grote reputatieschade en juridische aansprakelijkheid; geweld betreft aanzetting en bedreigingen; de categorieën voor gevaar en criminaliteit dekken risicovol gedrag en illegale activiteiten; zelfbeschadiging betreft de veiligheid van gebruikers en levensbedreigende situaties. Voor deze zes categorieën zijn lage drempelwaarden van 0,1 tot 0,2 gerechtvaardigd, ongeacht uw product, en accepteert u bewust enkele false positives.

Zachte categorieën hangen sterk af van de context van uw applicatie, met aanpasbare drempelwaarden tussen 0,3 en 0,8. Een legitieme medische chatbot moet health kunnen bespreken, een fintech-app vereist gesprekken die onder financial vallen, een juridische assistent behandelt noodzakelijkerwijs law, en sommige applicaties verzamelen wettelijk gegevens die onder pii vallen. Eén geval leest anders: jailbreaking hangt niet af van het onderwerp, maar van de intentie om het model te manipuleren, en blijft kritiek voor elke applicatie die openstaat voor het publiek.

Scores analyseren in Python

De volgende functie transformeert een ruwe API-aanroep in een leesbaar oordeel: deze isoleert categorieën die hoger zijn dan 0,3, identificeert de maximale score en de bijbehorende categorie, en retourneert een safe-indicator die u direct kunt gebruiken in uw applicatielogica.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores is optioneel in de SDK, vandaar de or {}. Voer beide voorbeelden uit op uw account: de begroeting zou over de hele linie zeer laag moeten blijven, terwijl de doseringsvraag een piek zou moeten vertonen bij health. Dit is geen “gevaarlijke” inhoud in de algemene zin—het is inhoud waarover u moet beslissen of deze binnen uw scope valt.

Meerdere categorieën: één tekst kan meerdere waarschuwingen activeren

Eén enkele tekst kan gelijktijdig hoge scores hebben in meerdere categorieën—een verzoek om hulp bij belastingfraude zal criminal, financial en law tegelijkertijd raken. Uw besluitvormingslogica moet rekening houden met deze veelvoudigheid, en bovenal prioriteiten stellen: de onderstaande functie sorteert overtredingen op basis van de grootte van de drempeloverschrijding, zodat u weet welke categorie de blokkering daadwerkelijk heeft veroorzaakt.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Het profiel strict_thresholds volgt exact de hierboven geschetste harde/zachte logica: drempelwaarden van 0,1 tot 0,15 voor de zes kritieke categorieën en jailbreak, tolerantie op 0,3 voor contextuele domeinen. Houd deze structuur aan als uw startpunt en documenteer eventuele afwijkingen die u introduceert.

Belangrijkste punten

  • mistral-moderation-2603 analyseert inhoud op 11 categorieën met vaste sleutels; hate, violence of unpredictable bestaan niet
  • Elke categorie retourneert een score van 0,0 tot 1,0
  • “Harde” categorieën (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) vereisen lage drempelwaarden
  • “Zachte” categorieën (health, financial, law) passen zich aan op basis van uw applicatiecontext
  • Een enkele tekst kan meerdere categorieën tegelijkertijd activeren
  • Gebruik ruwe scores (category_scores) in plaats van standaard booleans