API de modération de Mistral
Šajā lapā
Mis à jour le 3 novembre 2026. L’exemple de réponse incluait précédemment des clés inexistantes (
hate,violence,unpredictable) ; il reflète désormais les onze catégories demistral-moderation-2603. Le pipeline final utilisait auparavant un format de garde-fou inventé (enabled) et détectait les blocages en recherchant « 403 » dans le message d’erreur : il suit maintenant le format officiel et vérifiee.status_code. La présentation du modèle adhère à sa fiche technique officielle, et la leçon introduit Shieldstral 1.0, le modèle de modération en aperçu public depuis août 2026. Code vérifié par rapport aux types SDKmistralaiversion 3.7.0. Sources : Modération et garde-fous · Mistral Moderation 2 · Shieldstral 1.0.
Classifier le contenu après génération
Les garde-fous filtrent les invites en entrée. Mais qu’en est-il du contenu généré par le modèle ? Une invite innocente peut produire une réponse problématique : une question d’un collégien sur la Seconde Guerre mondiale pourrait générer une description que tu ne souhaites pas afficher sans mises en garde. C’est là le rôle de l’API de modération : analyser le contenu a posteriori et attribuer des scores de risque par catégorie.
L’API de modération est ta deuxième ligne de défense : elle complète les garde-fous pour créer une architecture de sécurité complète, avec une différence majeure : elle ne bloque rien d’elle-même, elle t’informe.
Le modèle Mistral Moderation 2
Le modèle de modération dédié s’appelle mistral-moderation-2603 (Mistral Moderation 2, version de mars 2026). C’est un classifieur spécialisé, distinct des modèles de génération : il n’écrit pas de texte, il attribue des scores. Sa fiche technique officielle met en avant une fenêtre de contexte de 128 000 jetons, la détection de jailbreak et de fortes performances sur des contenus multilingues complexes, y compris les longues conversations. Il remplace mistral-moderation-2411, qui a été déprécié le 31 mars 2026.
Il note chaque texte selon 11 catégories, avec un score de 0,0 à 1,0 par catégorie. Il accepte deux modes d’entrée, texte brut ou conversationnel, et le choix entre eux affecte la qualité des résultats plus que tu ne pourrais le penser.
Un second modèle de modération existe depuis le 4 août 2026, en aperçu public : Shieldstral 1.0. Il fonctionne différemment : compact (3,8 milliards de paramètres) et multimodal, il classe les textes et les images sur la base de questions de politique formulées en langage naturel, répondant par oui ou non. Ses poids sont publiés sous licence Apache 2.0, permettant l’auto-hébergement. Tant qu’il reste en aperçu, mistral-moderation-2603 demeure le modèle de production, et c’est celui utilisé pour les garde-fous.
Le point de terminaison /v1/moderations
Le mode texte brut est le plus simple : tu envoies un ou plusieurs textes à classifier, sans contexte supplémentaire.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Modérer un texte simple
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Text to analyze for moderation"]
)
# Accéder aux résultats
for result in response.results:
print(f"Categories: {result.categories}")
print(f"Scores: {result.category_scores}")
Pour modérer des échanges complets, invite et réponse conjointement, le mode conversationnel donne au classifieur ce qui lui manquait : le fil de la discussion.
# Modérer une conversation complète
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "How do I treat a headache?"},
{"role": "assistant", "content": "Take 1g of paracetamol..."}
]
]
)
# Le classifieur évalue le contexte complet
for result in response.results:
print(f"Health score: {(result.category_scores or {}).get('health', 0)}")
Le mode conversationnel, qui appelle le point de terminaison /v1/chat/moderations, est ce que Mistral recommande pour un échange : le modèle est entraîné à classifier le dernier tour de la conversation à la lumière des précédents. Pour modérer la réponse de ton assistant, place-la en dernier. La liste de listes dans l’exemple permet d’envoyer plusieurs conversations à la fois ; une simple liste de messages suffit pour une seule. Le même texte peut ainsi recevoir un score différent selon qu’il répond à une question légitime ou malveillante : un dosage cité en réponse à une demande d’information n’a pas le même statut que le même dosage glissé dans un échange sur l’automédication à risque.
Structure de la réponse
Pour chaque texte analysé, la réponse contient deux blocs parallèles : categories, des booléens calculés avec des seuils définis par Mistral sur la base de son jeu de tests interne, et category_scores, les scores bruts de 0,0 à 1,0. L’exemple ci-dessous est illustratif, avec des valeurs arrondies ; certains exemples de documentation montrent encore les neuf catégories de l’ancien modèle, où dangerous_and_criminal_content combinait dangerous et criminal. Tu utiliseras ces dernières car elles te permettent de définir tes propres limites.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
Dans cet exemple, seule la catégorie health est marquée true, avec 0,72. Un assistant grand public y verrait un signal de blocage ; un outil destiné aux pharmaciens le laisserait passer sans hésitation. Le même score, deux décisions opposées, et c’est précisément pour cela que tu travailles avec des scores plutôt qu’avec des booléens.
Modérer plusieurs textes par lots
L’API accepte plusieurs textes dans une seule requête, ce qui change tout pour le traitement par lots : analyser rétroactivement un historique de conversation ou une base de données de commentaires devient une opération raisonnable en termes de nombre d’appels.
# Modérer plusieurs textes en une seule requête
texts = [
"First text to analyze",
"Second text to analyze",
"Third text to analyze"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Chaque texte a son propre résultat
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")
Garde-fous contre API de modération : quand utiliser quoi
| Aspect | Garde-fous personnalisés | API de modération |
|---|---|---|
| Moment | AVANT la génération | APRÈS la génération |
| Action | Bloque automatiquement (403) | Renvoie des scores (tu décides) |
| Contrôle | Tes seuils par catégorie, appliqués par Mistral | Scores bruts, logique libre |
| Appel | Paramètre de la requête de génération | Appel séparé à /v1/moderations |
| Cas d’usage | Filtrer les invites dangereuses | Classifier les réponses |
Exemple : pipeline complet
Le pipeline ci-dessous montre l’enchaînement des deux mécanismes. La génération est protégée par un garde-fou axé sur le jailbreak ; la réponse est ensuite classifiée conjointement avec la question qui l’a produite, et une décision personnalisée intervient dès qu’un score dépasse 0,5. Note que les deux étapes renvoient des statuts distincts — blocked_input et blocked_output — afin que tes journaux indiquent clairement où la requête s’est arrêtée.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Pipeline avec garde-fous (entrée) et modération (sortie)."""
# Étape 1 : générer avec garde-fous
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# Étape 2 : modérer la sortie, dans le contexte de la question
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Galvenās atziņas
- L’API de modération utilise le modèle
mistral-moderation-2603pour classifier le contenu - Deux modes disponibles : texte brut et conversationnel
- Les scores vont de 0,0 à 1,0 — tu définis tes propres seuils de décision
- Le mode conversationnel est plus précis car il prend en compte le contexte
- Combine garde-fous (entrée) + modération (sortie) pour une défense en profondeur