Cele 11 categorii de moderare
Pe această pagină
Actualizat la 3 noiembrie 2026. Tabelul de categorii lista anterior trei chei inexistente (
hate,violence,unpredictable) și omiteadangerous. Cele unsprezece chei de mai jos reflectămistral-moderation-2603, pe baza documentației și a tipurilor din SDK-ulmistralai3.7.0; descrierile urmează definițiile Mistral. Valorile de ieșire prezentate ca date măsurate au fost exemple ilustrative și sunt acum etichetate clar ca atare. Surse: Moderation & Guardrailing · Mistral Moderation 2411 (model depreciat).
Înțelegerea categoriilor de risc
Modelul Mistral Moderation analizează conținutul pe parcursul a 11 categorii distincte. Fiecare categorie acoperă un tip specific de risc și returnează un scor independent între 0,0 și 1,0. Este esențial să înțelegeți exact ce detectează fiecare categorie pentru a stabili praguri semnificative. Fără această claritate, ghiciți doar numere și vă întrebați de ce conținutul este blocat în mod neașteptat.
Tabelul de mai jos oferă cheia API exactă pentru fiecare categorie, ce acoperă aceasta și tipurile de cazuri pe care le detectează în practică.
| Categorie | Cheie API | Ce include Mistral |
|---|---|---|
| Conținut sexual | sexual | Activități sexuale, nuditate sau servicii sexuale descrise sau promovate explicit; conținutul educațional sau medical non-explicit este, în general, scutit |
| Ură și discriminare | hate_and_discrimination | Prejudecăți, ostilitate sau incitare la discriminare bazată pe caracteristici protejate, inclusiv hărțuire |
| Violență și amenințări | violence_and_threats | Violență fizică descrisă, glorificată, incitată sau amenințată, precum și instrucțiuni pentru comiterea acesteia |
| Conținut periculos | dangerous | Comportamente extrem de periculoase cu un risc ridicat de vătămare fizică |
| Activități criminale | criminal | Activități ilegale descrise sau promovate |
| Auto-vătămare | selfharm | Auto-vătămare, suicid, tulburări de alimentație: metode, glorificare, intenție, provocări periculoase |
| Sănătate | health | Solicitări sau furnizare de sfaturi medicale detaliate sau personalizate |
| Finanțe | financial | Solicitări sau furnizare de sfaturi financiare detaliate sau personalizate |
| Juridic | law | Solicitări sau furnizare de sfaturi juridice detaliate sau personalizate |
| Date personale | pii | Solicitări, partajare sau tentative de obținere a datelor de identificare: nume complet, adresă, număr de telefon, cod numeric personal, detalii bancare |
| Jailbreak | jailbreaking | Încercări de ocolire a regulilor modelului prin manipularea prompt-urilor, joc de rol sau alte tehnici |
Categoriile dangerous, criminal și jailbreaking au fost introduse odată cu mistral-moderation-2603. Modelul anterior, mistral-moderation-2411, depreciat la 31 martie 2026, combina primele două sub o singură cheie, dangerous_and_criminal_content, și nu detecta jailbreak-urile. Unele exemple de răspuns din documentație afișează încă această structură mai veche: citiți întotdeauna cheile returnate de API în loc să le presupuneți.
Categorii „dure“ vs. categorii „flexibile“
În practică, aceste 11 categorii se împart în două grupuri în funcție de criticitate, iar această distincție dictează întreaga strategie de stabilire a pragurilor.
Categorii dure — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal și selfharm — reprezintă riscuri grave unde un fals negativ (eșecul de a detecta conținut periculos) poate avea consecințe severe. Conținutul sexual implică riscuri legale și obligații de protecție a minorilor; discursul urii vă expune unor daune majore de reputație și răspunderii legale; violența implică incitare și amenințări; categoriile periculoase și criminale acoperă comportamente cu risc ridicat și activități ilegale; auto-vătămarea implică siguranța utilizatorului și situații care pun viața în pericol. Pentru aceste șase categorii, praguri scăzute de 0,1 până la 0,2 sunt justificate indiferent de produsul dumneavoastră, acceptând în mod deliberat unele fals pozitive.
Categorii flexibile depind puternic de contextul aplicației dumneavoastră, cu praguri ajustabile între 0,3 și 0,8. Un chatbot medical legitim trebuie să discute despre health, o aplicație fintech necesită conversații acoperite de financial, un asistent juridic gestionează inevitabil law, iar unele aplicații colectează legal date care intră sub incidența pii. Un caz se citește diferit: jailbreaking nu depinde de subiect, ci de intenția de a manipula modelul și rămâne critic pentru orice aplicație deschisă publicului larg.
Analiza scorurilor în Python
Funcția următoare transformă un apel API brut într-un verdict lizibil: izolează categoriile care depășesc 0,3, identifică scorul maxim și categoria sa și returnează un indicator safe pe care îl puteți utiliza direct în logica aplicației dumneavoastră.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyze text and return risk categories."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separate risk categories
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores este opțional în SDK, de aici și or {}. Rulați ambele exemple pe contul dumneavoastră: salutul ar trebui să rămână foarte scăzut peste tot, în timp ce întrebarea despre dozaj ar trebui să crească brusc la health. Acesta nu este conținut „periculos“ în sensul comun — este conținut despre care trebuie să decideți dacă intră în sfera dumneavoastră de aplicare.
Categorii multiple: Un text poate declanșa mai multe alerte
Un singur text poate avea scoruri mari în mai multe categorii simultan — o cerere de ajutor pentru fraudă fiscală va atinge criminal, financial și law toate deodată. Logica dumneavoastră de decizie trebuie să țină cont de această multiplicitate și, mai presus de toate, să prioritizeze: funcția de mai jos sortează încălcările în funcție de magnitudinea depășirii pragului, indicându-vă care categorie a determinat efectiv blocarea.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluate global risk considering all categories."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuration by profile
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profilul strict_thresholds urmează exact logica dur/flexibil prezentată mai sus: praguri de 0,1 până la 0,15 pentru cele șase categorii critice și jailbreak, toleranță la 0,3 pentru domeniile contextuale. Păstrați această structură ca punct de plecare și documentați orice abateri pe care le introduceți.
Puncte cheie
mistral-moderation-2603analizează conținutul pe parcursul a 11 categorii cu chei fixe;hate,violencesauunpredictablenu există- Fiecare categorie returnează un scor de la 0,0 la 1,0
- Categoriile „dure“ (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) necesită praguri scăzute - Categoriile „flexibile“ (health, financial, law) se ajustează în funcție de contextul aplicației dumneavoastră
- Un singur text poate declanșa mai multe categorii simultan
- Utilizați scorurile brute (
category_scores) în loc de booleene implicite