Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Les 11 catégories de modération

Nodarbība 6 no 12 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Comprendre les catégories de risque
  2. Catégories « dures » vs catégories « souples »
  3. Analyser les scores en Python
  4. Catégories multiples : un texte peut déclencher plusieurs alertes
  5. Galvenās atziņas

Mis à jour le 3 novembre 2026. Le tableau des catégories listait auparavant trois clés inexistantes (hate, violence, unpredictable) et omettait dangerous. Les onze clés ci-dessous reflètent mistral-moderation-2603, basées sur la documentation et les types du SDK mistralai 3.7.0 ; les descriptions suivent les définitions de Mistral. Les valeurs de sortie présentées comme des données mesurées étaient des exemples illustratifs et sont désormais clairement identifiées comme telles. Sources : Moderation & Guardrailing · Mistral Moderation 2411 (modèle déprécié).

Comprendre les catégories de risque

Le modèle de modération Mistral analyse le contenu selon 11 catégories distinctes. Chaque catégorie couvre un type de risque spécifique et renvoie un score indépendant compris entre 0,0 et 1,0. Comprendre exactement ce que détecte chaque catégorie est essentiel pour définir des seuils pertinents. Sans cette clarté, tu ne fais que deviner des chiffres et te demander pourquoi du contenu est bloqué de manière inattendue.

Le tableau ci-dessous fournit la clé API exacte pour chaque catégorie, ce qu’elle couvre et les types de cas qu’elle détecte en pratique.

CatégorieClé APICe que Mistral inclut
Contenu sexuelsexualActivités sexuelles, nudité ou services sexuels explicitement décrits ou promus ; le contenu éducatif ou médical non explicite est généralement exempté
Haine et discriminationhate_and_discriminationPréjugés, hostilité ou appels à la discrimination basés sur des caractéristiques protégées, y compris le harcèlement
Violence et menacesviolence_and_threatsViolence physique décrite, glorifiée, incitée ou menacée, ainsi que les instructions pour la commettre
Contenu dangereuxdangerousComportements extrêmement dangereux présentant un risque élevé de préjudice physique
Activités criminellescriminalActivités illégales décrites ou promues
AutomutilationselfharmAutomutilation, suicide, troubles alimentaires : méthodes, glorification, intention, défis dangereux
SantéhealthDemandes ou fourniture de conseils médicaux détaillés ou personnalisés
FinancefinancialDemandes ou fourniture de conseils financiers détaillés ou personnalisés
JuridiquelawDemandes ou fourniture de conseils juridiques détaillés ou personnalisés
Données personnellespiiDemandes, partage ou tentatives d’obtention de données identifiantes : nom complet, adresse, numéro de téléphone, numéro de sécurité sociale, coordonnées bancaires
JailbreakjailbreakingTentatives de contourner les règles du modèle par manipulation de prompt, jeu de rôle ou autres techniques

Les catégories dangerous, criminal et jailbreaking sont arrivées avec mistral-moderation-2603. Le modèle précédent, mistral-moderation-2411, déprécié le 31 mars 2026, combinait les deux premières sous une seule clé, dangerous_and_criminal_content, et ne détectait pas les jailbreaks. Certains exemples de réponses dans la documentation montrent encore cette ancienne répartition : lis toujours les clés renvoyées par l’API plutôt que de les supposer.

Catégories « dures » vs catégories « souples »

En pratique, ces 11 catégories se divisent en deux groupes selon leur criticité, et cette distinction pilote toute ta stratégie de seuils.

Catégories dures — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal et selfharm — représentent des risques graves où un faux négatif (échec à détecter un contenu dangereux) peut avoir des conséquences sévères. Le contenu sexuel comporte un risque juridique et des obligations de protection des mineurs ; les discours de haine t’exposent à d’importants dommages réputationnels et à une responsabilité juridique ; la violence implique l’incitation et les menaces ; les catégories dangereuses et criminelles couvrent des comportements à haut risque et des activités illégales ; l’automutilation concerne la sécurité des utilisateurs et des situations mettant la vie en danger. Pour ces six catégories, des seuils bas de 0,1 à 0,2 sont justifiés quel que soit ton produit, et tu acceptes délibérément certains faux positifs.

Catégories souples dépendent fortement du contexte de ton application, avec des seuils ajustables entre 0,3 et 0,8. Un chatbot médical légitime doit discuter de health, une application fintech nécessite des conversations couvertes par financial, un assistant juridique gère nécessairement law, et certaines applications collectent légalement des données relevant de pii. Un cas se lit différemment : jailbreaking ne dépend pas du sujet mais de l’intention de manipuler le modèle, et reste critique pour toute application ouverte au public.

Analyser les scores en Python

La fonction suivante transforme un appel API brut en un verdict lisible : elle isole les catégories dépassant 0,3, identifie le score maximum et sa catégorie, et renvoie un indicateur safe que tu peux utiliser directement dans ta logique applicative.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores est optionnel dans le SDK, d’où le or {}. Exécute les deux exemples sur ton compte : la salutation devrait rester très basse partout, tandis que la question sur le dosage devrait grimper sur health. Ce n’est pas un contenu « dangereux » au sens commun : c’est un contenu dont tu dois décider s’il relève de ton périmètre.

Catégories multiples : un texte peut déclencher plusieurs alertes

Un seul texte peut obtenir des scores élevés dans plusieurs catégories simultanément : une demande d’aide pour une fraude fiscale touchera criminal, financial et law tout à la fois. Ta logique de décision doit prendre en compte cette multiplicité, et surtout, prioriser : la fonction ci-dessous trie les violations par l’ampleur du dépassement de seuil, t’indiquant quelle catégorie a réellement provoqué le blocage.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Le profil strict_thresholds suit exactement la logique dur/souple décrite ci-dessus : des seuils de 0,1 à 0,15 sur les six catégories critiques et le jailbreak, une tolérance à 0,3 pour les domaines contextuels. Conserve cette structure comme point de départ et documente tout écart que tu introduis.

Galvenās atziņas

  • mistral-moderation-2603 analyse le contenu selon 11 catégories avec des clés fixes ; hate, violence ou unpredictable n’existent pas
  • Chaque catégorie renvoie un score de 0,0 à 1,0
  • Les catégories « dures » (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) nécessitent des seuils bas
  • Les catégories « souples » (santé, finance, droit) s’ajustent selon ton contexte applicatif
  • Un seul texte peut déclencher plusieurs catégories simultanément
  • Utilise les scores bruts (category_scores) plutôt que les booléens par défaut