Las 11 categorías de moderación
En esta página
Actualizado el 3 de noviembre de 2026. La tabla de categorías listaba anteriormente tres claves inexistentes (
hate,violence,unpredictable) y omitíadangerous. Las once claves siguientes reflejanmistral-moderation-2603, basadas en la documentación y los tipos del SDKmistralai3.7.0; las descripciones siguen las definiciones de Mistral. Los valores de salida presentados como datos medidos eran ejemplos ilustrativos y ahora están claramente etiquetados como tales. Fuentes: Moderation & Guardrailing · Mistral Moderation 2411 (modelo obsoleto).
Comprensión de las categorías de riesgo
El modelo de Moderación de Mistral analiza el contenido a través de 11 categorías distintas. Cada categoría cubre un tipo de riesgo específico y devuelve una puntuación independiente entre 0,0 y 1,0. Es fundamental entender exactamente qué detecta cada categoría para establecer umbrales significativos. Sin esta claridad, solo estarás adivinando números y preguntándote por qué se bloquea contenido de forma inesperada.
La siguiente tabla proporciona la clave exacta de la API para cada categoría, qué abarca y los tipos de casos que detecta en la práctica.
| Categoría | Clave de API | Qué incluye Mistral |
|---|---|---|
| Contenido sexual | sexual | Actividades sexuales, desnudez o servicios sexuales descritos o promovidos explícitamente; el contenido educativo o médico no explícito suele estar exento |
| Odio y discriminación | hate_and_discrimination | Prejuicios, hostilidad o llamamientos a la discriminación basados en características protegidas, incluido el acoso |
| Violencia y amenazas | violence_and_threats | Violencia física descrita, glorificada, incitada o amenazada, e instrucciones para cometerla |
| Contenido peligroso | dangerous | Comportamientos extremadamente peligrosos con un alto riesgo de daño físico |
| Actividades delictivas | criminal | Actividades ilegales descritas o promovidas |
| Autolesión | selfharm | Autolesiones, suicidio, trastornos alimenticios: métodos, glorificación, intención, retos peligrosos |
| Salud | health | Solicitudes o provisión de asesoramiento médico detallado o personalizado |
| Finanzas | financial | Solicitudes o provisión de asesoramiento financiero detallado o personalizado |
| Legal | law | Solicitudes o provisión de asesoramiento jurídico detallado o personalizado |
| Datos personales | pii | Solicitudes, compartición o intentos de obtener datos identificativos: nombre completo, dirección, número de teléfono, número de seguridad social, datos bancarios |
| Jailbreak | jailbreaking | Intentos de eludir las reglas del modelo mediante manipulación de prompts, juegos de rol u otras técnicas |
Las categorías dangerous, criminal y jailbreaking llegaron con mistral-moderation-2603. El modelo anterior, mistral-moderation-2411, obsoleto el 31 de marzo de 2026, combinaba las dos primeras bajo una única clave, dangerous_and_criminal_content, y no detectaba jailbreaks. Algunos ejemplos de respuesta en la documentación aún muestran esta desglose antiguo: lee siempre las claves que devuelve la API en lugar de asumirlas.
Categorías «duras» frente a «blandas»
En la práctica, estas 11 categorías se dividen en dos grupos según su criticidad, y esta distinción impulsa toda tu estrategia de umbrales.
Categorías duras — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal y selfharm — representan riesgos graves donde un falso negativo (no detectar contenido peligroso) puede tener consecuencias severas. El contenido sexual conlleva riesgos legales y obligaciones de protección de menores; el discurso de odio te expone a grandes daños reputacionales y responsabilidad legal; la violencia implica incitación y amenazas; las categorías de peligroso y delictivo cubren comportamientos de alto riesgo y actividades ilegales; la autolesión implica la seguridad del usuario y situaciones que amenazan la vida. Para estas seis categorías, los umbrales bajos de 0,1 a 0,2 están justificados independientemente de tu producto, y aceptas deliberadamente algunos falsos positivos.
Las categorías blandas dependen en gran medida del contexto de tu aplicación, con umbrales ajustables entre 0,3 y 0,8. Un chatbot médico legítimo necesita hablar de health, una aplicación fintech requiere conversaciones cubiertas por financial, un asistente legal maneja necesariamente law, y algunas aplicaciones recopilan legalmente datos que caen bajo pii. Un caso se lee de forma diferente: jailbreaking no depende del tema, sino de la intención de manipular el modelo, y sigue siendo crítico para cualquier aplicación abierta al público.
Análisis de puntuaciones en Python
La siguiente función transforma una llamada cruda a la API en un veredicto legible: aísla las categorías que superan 0,3, identifica la puntuación máxima y su categoría, y devuelve un indicador safe que puedes usar directamente en la lógica de tu aplicación.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analiza el texto y devuelve las categorías de riesgo."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separar categorías de riesgo
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hola, ¿cómo estás?"))
print(analyze_content("¿Qué dosis de paracetamol para un niño de 20 kg?"))
category_scores es opcional en el SDK, de ahí el or {}. Ejecuta ambos ejemplos en tu cuenta: el saludo debería mantenerse muy bajo en todos los aspectos, mientras que la pregunta sobre la dosis debería dispararse en health. Esto no es contenido «peligroso» en el sentido común; es contenido sobre el que debes decidir si entra en tu ámbito de aplicación.
Múltiples categorías: un texto puede activar varias alertas
Un solo texto puede tener puntuaciones altas en varias categorías simultáneamente: una solicitud de ayuda para cometer fraude fiscal activará criminal, financial y law a la vez. Tu lógica de decisión debe tener en cuenta esta multiplicidad y, sobre todo, priorizar: la función siguiente ordena las infracciones por la magnitud del incumplimiento del umbral, indicándote qué categoría impulsó realmente el bloqueo.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evalúa el riesgo global considerando todas las categorías."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuración por perfil
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
El perfil strict_thresholds sigue exactamente la lógica dura/blanda descrita anteriormente: umbrales de 0,1 a 0,15 en las seis categorías críticas y jailbreak, tolerancia en 0,3 para los dominios contextuales. Mantén esta estructura como punto de partida y documenta cualquier desviación que introduzcas.
Puntos clave
mistral-moderation-2603analiza el contenido a través de 11 categorías con claves fijas;hate,violenceounpredictableno existen- Cada categoría devuelve una puntuación de 0,0 a 1,0
- Las categorías «duras» (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) requieren umbrales bajos - Las categorías «blandas» (salud, finanzas, derecho) se ajustan según el contexto de tu aplicación
- Un solo texto puede activar múltiples categorías simultáneamente
- Usa puntuaciones crudas (
category_scores) en lugar de booleanos predeterminados