Vai al contenuto principale
Italiano— Scegli una lingua
Menu

Le 11 categorie di moderazione

Lezione 6 di 12 Aggiornata il 3 novembre 2026 Sviluppatore
In questa pagina
  1. Comprendere le categorie di rischio
  2. Categorie “rigide” vs “flessibili”
  3. Analizzare i punteggi in Python
  4. Categorie multiple: un testo può attivare diversi avvisi
  5. Punti chiave

Aggiornato il 3 novembre 2026. La tabella delle categorie elencava in precedenza tre chiavi inesistenti (hate, violence, unpredictable) e ometteva dangerous. Le undici chiavi riportate di seguito riflettono mistral-moderation-2603, basate sulla documentazione e sui tipi dell’SDK mistralai 3.7.0; le descrizioni seguono le definizioni di Mistral. I valori di output presentati come dati misurati erano esempi illustrativi e ora sono chiaramente etichettati come tali. Fonti: Moderation & Guardrailing · Mistral Moderation 2411 (modello deprecato).

Comprendere le categorie di rischio

Il modello Mistral Moderation analizza i contenuti attraverso 11 categorie distinte. Ogni categoria copre un tipo specifico di rischio e restituisce un punteggio indipendente compreso tra 0.0 e 1.0. Capire esattamente cosa rileva ciascuna categoria è essenziale per impostare soglie significative. Senza questa chiarezza, ti limiti a indovinare numeri e a chiederti perché certi contenuti vengano bloccati inaspettatamente.

La tabella seguente fornisce la chiave API esatta per ogni categoria, cosa include e quali tipi di casi rileva nella pratica.

CategoriaChiave APICosa include Mistral
Contenuti sessualisexualAttività sessuali, nudità o servizi sessuali descritti o promossi esplicitamente; i contenuti educativi o medici non espliciti sono generalmente esenti
Odio e discriminazionehate_and_discriminationPregiudizi, ostilità o incitamenti alla discriminazione basati su caratteristiche protette, inclusi i casi di molestie
Violenza e minacceviolence_and_threatsViolenza fisica descritta, glorificata, incitata o minacciata, e istruzioni per commetterla
Contenuti pericolosidangerousComportamenti estremamente pericolosi con un alto rischio di danni fisici
Attività criminalicriminalAttività illegali descritte o promosse
AutolesionismoselfharmAutolesionismo, suicidio, disturbi alimentari: metodi, glorificazione, intento, sfide pericolose
SalutehealthRichieste o fornitura di consigli medici dettagliati o personalizzati
FinanzafinancialRichieste o fornitura di consigli finanziari dettagliati o personalizzati
LegalelawRichieste o fornitura di consigli legali dettagliati o personalizzati
Dati personalipiiRichieste, condivisioni o tentativi di ottenere dati identificativi: nome completo, indirizzo, numero di telefono, codice fiscale, dettagli bancari
JailbreakjailbreakingTentativi di aggirare le regole del modello tramite manipolazione dei prompt, giochi di ruolo o altre tecniche

Le categorie dangerous, criminal e jailbreaking sono state introdotte con mistral-moderation-2603. Il modello precedente, mistral-moderation-2411, deprecato il 31 marzo 2026, combinava le prime due sotto un’unica chiave, dangerous_and_criminal_content, e non rilevava i jailbreak. Alcuni esempi di risposta nella documentazione mostrano ancora questa vecchia suddivisione: leggi sempre le chiavi restituite dall’API invece di darle per scontate.

Categorie “rigide” vs “flessibili”

Nella pratica, queste 11 categorie si dividono in due gruppi in base alla criticità, e questa distinzione guida l’intera strategia delle soglie.

Categorie rigide — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal e selfharm — rappresentano rischi gravi in cui un falso negativo (mancato rilevamento di contenuti pericolosi) può avere conseguenze severe. I contenuti sessuali comportano rischi legali e obblighi di protezione dei minori; i discorsi d’odio espongono a gravi danni reputazionali e responsabilità legali; la violenza riguarda incitamenti e minacce; le categorie dangerous e criminal coprono comportamenti ad alto rischio e attività illegali; l’autolesionismo coinvolge la sicurezza dell’utente e situazioni potenzialmente letali. Per queste sei categorie, soglie basse tra 0.1 e 0.2 sono giustificate indipendentemente dal tuo prodotto, e accetti deliberatamente alcuni falsi positivi.

Categorie flessibili dipendono fortemente dal contesto della tua applicazione, con soglie regolabili tra 0.3 e 0.8. Un chatbot medico legittimo deve discutere di health, un’app fintech richiede conversazioni coperte da financial, un assistente legale gestisce necessariamente law, e alcune applicazioni raccolgono legalmente dati che rientrano in pii. Un caso si legge diversamente: jailbreaking non dipende dall’argomento ma dall’intento di manipolare il modello, e rimane critico per qualsiasi applicazione aperta al pubblico.

Analizzare i punteggi in Python

La funzione seguente trasforma una chiamata API grezza in un verdetto leggibile: isola le categorie che superano 0.3, identifica il punteggio massimo e la sua categoria, e restituisce un indicatore safe che puoi usare direttamente nella logica della tua applicazione.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analizza il testo e restituisce le categorie di rischio."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separa le categorie di rischio
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Ciao, come stai?"))
print(analyze_content("Quale dose di paracetamolo per un bambino di 20 kg?"))

category_scores è opzionale nell’SDK, da qui l’uso di or {}. Esegui entrambi gli esempi sul tuo account: il saluto dovrebbe rimanere molto basso su tutta la linea, mentre la domanda sul dosaggio dovrebbe schizzare su health. Questo non è contenuto “pericoloso” nel senso comune: è un contenuto su cui devi decidere se rientra nel tuo ambito di applicazione.

Categorie multiple: un testo può attivare diversi avvisi

Un singolo testo può avere punteggi alti in più categorie contemporaneamente: una richiesta di aiuto per una frode fiscale colpirà criminal, financial e law tutte insieme. La tua logica decisionale deve tenere conto di questa molteplicità e, soprattutto, dare priorità: la funzione seguente ordina le violazioni in base all’entità del superamento della soglia, indicandoti quale categoria ha effettivamente guidato il blocco.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Valuta il rischio globale considerando tutte le categorie."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configurazione per profilo
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Il profilo strict_thresholds segue esattamente la logica rigida/flessibile illustrata sopra: soglie tra 0.1 e 0.15 sulle sei categorie critiche e sul jailbreak, tolleranza a 0.3 per i domini contestuali. Mantieni questa struttura come punto di partenza e documenta eventuali deviazioni che introduci.

Punti chiave

  • mistral-moderation-2603 analizza i contenuti attraverso 11 categorie con chiavi fisse; hate, violence o unpredictable non esistono
  • Ogni categoria restituisce un punteggio da 0.0 a 1.0
  • Le categorie “rigide” (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) richiedono soglie basse
  • Le categorie “flessibili” (health, financial, law) si adattano in base al contesto della tua applicazione
  • Un singolo testo può attivare più categorie contemporaneamente
  • Usa i punteggi grezzi (category_scores) invece dei booleani predefiniti