Les 11 catégories de modération
Šajā lapā
Mis à jour le 3 novembre 2026. Le tableau des catégories listait auparavant trois clés inexistantes (
hate,violence,unpredictable) et omettaitdangerous. Les onze clés ci-dessous reflètentmistral-moderation-2603, basées sur la documentation et les types du SDKmistralai3.7.0 ; les descriptions suivent les définitions de Mistral. Les valeurs de sortie présentées comme des données mesurées étaient des exemples illustratifs et sont désormais clairement identifiées comme telles. Sources : Moderation & Guardrailing · Mistral Moderation 2411 (modèle déprécié).
Comprendre les catégories de risque
Le modèle de modération Mistral analyse le contenu selon 11 catégories distinctes. Chaque catégorie couvre un type de risque spécifique et renvoie un score indépendant compris entre 0,0 et 1,0. Comprendre exactement ce que détecte chaque catégorie est essentiel pour définir des seuils pertinents. Sans cette clarté, tu ne fais que deviner des chiffres et te demander pourquoi du contenu est bloqué de manière inattendue.
Le tableau ci-dessous fournit la clé API exacte pour chaque catégorie, ce qu’elle couvre et les types de cas qu’elle détecte en pratique.
| Catégorie | Clé API | Ce que Mistral inclut |
|---|---|---|
| Contenu sexuel | sexual | Activités sexuelles, nudité ou services sexuels explicitement décrits ou promus ; le contenu éducatif ou médical non explicite est généralement exempté |
| Haine et discrimination | hate_and_discrimination | Préjugés, hostilité ou appels à la discrimination basés sur des caractéristiques protégées, y compris le harcèlement |
| Violence et menaces | violence_and_threats | Violence physique décrite, glorifiée, incitée ou menacée, ainsi que les instructions pour la commettre |
| Contenu dangereux | dangerous | Comportements extrêmement dangereux présentant un risque élevé de préjudice physique |
| Activités criminelles | criminal | Activités illégales décrites ou promues |
| Automutilation | selfharm | Automutilation, suicide, troubles alimentaires : méthodes, glorification, intention, défis dangereux |
| Santé | health | Demandes ou fourniture de conseils médicaux détaillés ou personnalisés |
| Finance | financial | Demandes ou fourniture de conseils financiers détaillés ou personnalisés |
| Juridique | law | Demandes ou fourniture de conseils juridiques détaillés ou personnalisés |
| Données personnelles | pii | Demandes, partage ou tentatives d’obtention de données identifiantes : nom complet, adresse, numéro de téléphone, numéro de sécurité sociale, coordonnées bancaires |
| Jailbreak | jailbreaking | Tentatives de contourner les règles du modèle par manipulation de prompt, jeu de rôle ou autres techniques |
Les catégories dangerous, criminal et jailbreaking sont arrivées avec mistral-moderation-2603. Le modèle précédent, mistral-moderation-2411, déprécié le 31 mars 2026, combinait les deux premières sous une seule clé, dangerous_and_criminal_content, et ne détectait pas les jailbreaks. Certains exemples de réponses dans la documentation montrent encore cette ancienne répartition : lis toujours les clés renvoyées par l’API plutôt que de les supposer.
Catégories « dures » vs catégories « souples »
En pratique, ces 11 catégories se divisent en deux groupes selon leur criticité, et cette distinction pilote toute ta stratégie de seuils.
Catégories dures — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal et selfharm — représentent des risques graves où un faux négatif (échec à détecter un contenu dangereux) peut avoir des conséquences sévères. Le contenu sexuel comporte un risque juridique et des obligations de protection des mineurs ; les discours de haine t’exposent à d’importants dommages réputationnels et à une responsabilité juridique ; la violence implique l’incitation et les menaces ; les catégories dangereuses et criminelles couvrent des comportements à haut risque et des activités illégales ; l’automutilation concerne la sécurité des utilisateurs et des situations mettant la vie en danger. Pour ces six catégories, des seuils bas de 0,1 à 0,2 sont justifiés quel que soit ton produit, et tu acceptes délibérément certains faux positifs.
Catégories souples dépendent fortement du contexte de ton application, avec des seuils ajustables entre 0,3 et 0,8. Un chatbot médical légitime doit discuter de health, une application fintech nécessite des conversations couvertes par financial, un assistant juridique gère nécessairement law, et certaines applications collectent légalement des données relevant de pii. Un cas se lit différemment : jailbreaking ne dépend pas du sujet mais de l’intention de manipuler le modèle, et reste critique pour toute application ouverte au public.
Analyser les scores en Python
La fonction suivante transforme un appel API brut en un verdict lisible : elle isole les catégories dépassant 0,3, identifie le score maximum et sa catégorie, et renvoie un indicateur safe que tu peux utiliser directement dans ta logique applicative.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyze text and return risk categories."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separate risk categories
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores est optionnel dans le SDK, d’où le or {}. Exécute les deux exemples sur ton compte : la salutation devrait rester très basse partout, tandis que la question sur le dosage devrait grimper sur health. Ce n’est pas un contenu « dangereux » au sens commun : c’est un contenu dont tu dois décider s’il relève de ton périmètre.
Catégories multiples : un texte peut déclencher plusieurs alertes
Un seul texte peut obtenir des scores élevés dans plusieurs catégories simultanément : une demande d’aide pour une fraude fiscale touchera criminal, financial et law tout à la fois. Ta logique de décision doit prendre en compte cette multiplicité, et surtout, prioriser : la fonction ci-dessous trie les violations par l’ampleur du dépassement de seuil, t’indiquant quelle catégorie a réellement provoqué le blocage.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluate global risk considering all categories."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuration by profile
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Le profil strict_thresholds suit exactement la logique dur/souple décrite ci-dessus : des seuils de 0,1 à 0,15 sur les six catégories critiques et le jailbreak, une tolérance à 0,3 pour les domaines contextuels. Conserve cette structure comme point de départ et documente tout écart que tu introduis.
Galvenās atziņas
mistral-moderation-2603analyse le contenu selon 11 catégories avec des clés fixes ;hate,violenceouunpredictablen’existent pas- Chaque catégorie renvoie un score de 0,0 à 1,0
- Les catégories « dures » (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) nécessitent des seuils bas - Les catégories « souples » (santé, finance, droit) s’ajustent selon ton contexte applicatif
- Un seul texte peut déclencher plusieurs catégories simultanément
- Utilise les scores bruts (
category_scores) plutôt que les booléens par défaut