Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

API de modération de Mistral

Nodarbība 5 no 12 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Classifier le contenu après génération
  2. Le modèle Mistral Moderation 2
  3. Le point de terminaison /v1/moderations
  4. Structure de la réponse
  5. Modérer plusieurs textes par lots
  6. Garde-fous contre API de modération : quand utiliser quoi
  7. Exemple : pipeline complet
  8. Galvenās atziņas

Mis à jour le 3 novembre 2026. L’exemple de réponse incluait précédemment des clés inexistantes (hate, violence, unpredictable) ; il reflète désormais les onze catégories de mistral-moderation-2603. Le pipeline final utilisait auparavant un format de garde-fou inventé (enabled) et détectait les blocages en recherchant « 403 » dans le message d’erreur : il suit maintenant le format officiel et vérifie e.status_code. La présentation du modèle adhère à sa fiche technique officielle, et la leçon introduit Shieldstral 1.0, le modèle de modération en aperçu public depuis août 2026. Code vérifié par rapport aux types SDK mistralai version 3.7.0. Sources : Modération et garde-fous · Mistral Moderation 2 · Shieldstral 1.0.

Classifier le contenu après génération

Les garde-fous filtrent les invites en entrée. Mais qu’en est-il du contenu généré par le modèle ? Une invite innocente peut produire une réponse problématique : une question d’un collégien sur la Seconde Guerre mondiale pourrait générer une description que tu ne souhaites pas afficher sans mises en garde. C’est là le rôle de l’API de modération : analyser le contenu a posteriori et attribuer des scores de risque par catégorie.

L’API de modération est ta deuxième ligne de défense : elle complète les garde-fous pour créer une architecture de sécurité complète, avec une différence majeure : elle ne bloque rien d’elle-même, elle t’informe.

Le modèle Mistral Moderation 2

Le modèle de modération dédié s’appelle mistral-moderation-2603 (Mistral Moderation 2, version de mars 2026). C’est un classifieur spécialisé, distinct des modèles de génération : il n’écrit pas de texte, il attribue des scores. Sa fiche technique officielle met en avant une fenêtre de contexte de 128 000 jetons, la détection de jailbreak et de fortes performances sur des contenus multilingues complexes, y compris les longues conversations. Il remplace mistral-moderation-2411, qui a été déprécié le 31 mars 2026.

Il note chaque texte selon 11 catégories, avec un score de 0,0 à 1,0 par catégorie. Il accepte deux modes d’entrée, texte brut ou conversationnel, et le choix entre eux affecte la qualité des résultats plus que tu ne pourrais le penser.

Un second modèle de modération existe depuis le 4 août 2026, en aperçu public : Shieldstral 1.0. Il fonctionne différemment : compact (3,8 milliards de paramètres) et multimodal, il classe les textes et les images sur la base de questions de politique formulées en langage naturel, répondant par oui ou non. Ses poids sont publiés sous licence Apache 2.0, permettant l’auto-hébergement. Tant qu’il reste en aperçu, mistral-moderation-2603 demeure le modèle de production, et c’est celui utilisé pour les garde-fous.

Le point de terminaison /v1/moderations

Le mode texte brut est le plus simple : tu envoies un ou plusieurs textes à classifier, sans contexte supplémentaire.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Modérer un texte simple
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Text to analyze for moderation"]
)

# Accéder aux résultats
for result in response.results:
    print(f"Categories: {result.categories}")
    print(f"Scores: {result.category_scores}")

Pour modérer des échanges complets, invite et réponse conjointement, le mode conversationnel donne au classifieur ce qui lui manquait : le fil de la discussion.

# Modérer une conversation complète
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "How do I treat a headache?"},
            {"role": "assistant", "content": "Take 1g of paracetamol..."}
        ]
    ]
)

# Le classifieur évalue le contexte complet
for result in response.results:
    print(f"Health score: {(result.category_scores or {}).get('health', 0)}")

Le mode conversationnel, qui appelle le point de terminaison /v1/chat/moderations, est ce que Mistral recommande pour un échange : le modèle est entraîné à classifier le dernier tour de la conversation à la lumière des précédents. Pour modérer la réponse de ton assistant, place-la en dernier. La liste de listes dans l’exemple permet d’envoyer plusieurs conversations à la fois ; une simple liste de messages suffit pour une seule. Le même texte peut ainsi recevoir un score différent selon qu’il répond à une question légitime ou malveillante : un dosage cité en réponse à une demande d’information n’a pas le même statut que le même dosage glissé dans un échange sur l’automédication à risque.

Structure de la réponse

Pour chaque texte analysé, la réponse contient deux blocs parallèles : categories, des booléens calculés avec des seuils définis par Mistral sur la base de son jeu de tests interne, et category_scores, les scores bruts de 0,0 à 1,0. L’exemple ci-dessous est illustratif, avec des valeurs arrondies ; certains exemples de documentation montrent encore les neuf catégories de l’ancien modèle, où dangerous_and_criminal_content combinait dangerous et criminal. Tu utiliseras ces dernières car elles te permettent de définir tes propres limites.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

Dans cet exemple, seule la catégorie health est marquée true, avec 0,72. Un assistant grand public y verrait un signal de blocage ; un outil destiné aux pharmaciens le laisserait passer sans hésitation. Le même score, deux décisions opposées, et c’est précisément pour cela que tu travailles avec des scores plutôt qu’avec des booléens.

Modérer plusieurs textes par lots

L’API accepte plusieurs textes dans une seule requête, ce qui change tout pour le traitement par lots : analyser rétroactivement un historique de conversation ou une base de données de commentaires devient une opération raisonnable en termes de nombre d’appels.

# Modérer plusieurs textes en une seule requête
texts = [
    "First text to analyze",
    "Second text to analyze",
    "Third text to analyze"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Chaque texte a son propre résultat
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")

Garde-fous contre API de modération : quand utiliser quoi

AspectGarde-fous personnalisésAPI de modération
MomentAVANT la générationAPRÈS la génération
ActionBloque automatiquement (403)Renvoie des scores (tu décides)
ContrôleTes seuils par catégorie, appliqués par MistralScores bruts, logique libre
AppelParamètre de la requête de générationAppel séparé à /v1/moderations
Cas d’usageFiltrer les invites dangereusesClassifier les réponses

Exemple : pipeline complet

Le pipeline ci-dessous montre l’enchaînement des deux mécanismes. La génération est protégée par un garde-fou axé sur le jailbreak ; la réponse est ensuite classifiée conjointement avec la question qui l’a produite, et une décision personnalisée intervient dès qu’un score dépasse 0,5. Note que les deux étapes renvoient des statuts distincts — blocked_input et blocked_output — afin que tes journaux indiquent clairement où la requête s’est arrêtée.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Pipeline avec garde-fous (entrée) et modération (sortie)."""
    # Étape 1 : générer avec garde-fous
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # Étape 2 : modérer la sortie, dans le contexte de la question
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Galvenās atziņas

  • L’API de modération utilise le modèle mistral-moderation-2603 pour classifier le contenu
  • Deux modes disponibles : texte brut et conversationnel
  • Les scores vont de 0,0 à 1,0 — tu définis tes propres seuils de décision
  • Le mode conversationnel est plus précis car il prend en compte le contexte
  • Combine garde-fous (entrée) + modération (sortie) pour une défense en profondeur