Ir al contenido principal
Español— Elegir un idioma
Menú

Las 11 categorías de moderación

Lección 6 de 12 Actualizado el 3 de noviembre de 2026 Desarrollador
En esta página
  1. Comprensión de las categorías de riesgo
  2. Categorías «duras» frente a «blandas»
  3. Análisis de puntuaciones en Python
  4. Múltiples categorías: un texto puede activar varias alertas
  5. Puntos clave

Actualizado el 3 de noviembre de 2026. La tabla de categorías listaba anteriormente tres claves inexistentes (hate, violence, unpredictable) y omitía dangerous. Las once claves siguientes reflejan mistral-moderation-2603, basadas en la documentación y los tipos del SDK mistralai 3.7.0; las descripciones siguen las definiciones de Mistral. Los valores de salida presentados como datos medidos eran ejemplos ilustrativos y ahora están claramente etiquetados como tales. Fuentes: Moderation & Guardrailing · Mistral Moderation 2411 (modelo obsoleto).

Comprensión de las categorías de riesgo

El modelo de Moderación de Mistral analiza el contenido a través de 11 categorías distintas. Cada categoría cubre un tipo de riesgo específico y devuelve una puntuación independiente entre 0,0 y 1,0. Es fundamental entender exactamente qué detecta cada categoría para establecer umbrales significativos. Sin esta claridad, solo estarás adivinando números y preguntándote por qué se bloquea contenido de forma inesperada.

La siguiente tabla proporciona la clave exacta de la API para cada categoría, qué abarca y los tipos de casos que detecta en la práctica.

CategoríaClave de APIQué incluye Mistral
Contenido sexualsexualActividades sexuales, desnudez o servicios sexuales descritos o promovidos explícitamente; el contenido educativo o médico no explícito suele estar exento
Odio y discriminaciónhate_and_discriminationPrejuicios, hostilidad o llamamientos a la discriminación basados en características protegidas, incluido el acoso
Violencia y amenazasviolence_and_threatsViolencia física descrita, glorificada, incitada o amenazada, e instrucciones para cometerla
Contenido peligrosodangerousComportamientos extremadamente peligrosos con un alto riesgo de daño físico
Actividades delictivascriminalActividades ilegales descritas o promovidas
AutolesiónselfharmAutolesiones, suicidio, trastornos alimenticios: métodos, glorificación, intención, retos peligrosos
SaludhealthSolicitudes o provisión de asesoramiento médico detallado o personalizado
FinanzasfinancialSolicitudes o provisión de asesoramiento financiero detallado o personalizado
LegallawSolicitudes o provisión de asesoramiento jurídico detallado o personalizado
Datos personalespiiSolicitudes, compartición o intentos de obtener datos identificativos: nombre completo, dirección, número de teléfono, número de seguridad social, datos bancarios
JailbreakjailbreakingIntentos de eludir las reglas del modelo mediante manipulación de prompts, juegos de rol u otras técnicas

Las categorías dangerous, criminal y jailbreaking llegaron con mistral-moderation-2603. El modelo anterior, mistral-moderation-2411, obsoleto el 31 de marzo de 2026, combinaba las dos primeras bajo una única clave, dangerous_and_criminal_content, y no detectaba jailbreaks. Algunos ejemplos de respuesta en la documentación aún muestran esta desglose antiguo: lee siempre las claves que devuelve la API en lugar de asumirlas.

Categorías «duras» frente a «blandas»

En la práctica, estas 11 categorías se dividen en dos grupos según su criticidad, y esta distinción impulsa toda tu estrategia de umbrales.

Categorías duras — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal y selfharm — representan riesgos graves donde un falso negativo (no detectar contenido peligroso) puede tener consecuencias severas. El contenido sexual conlleva riesgos legales y obligaciones de protección de menores; el discurso de odio te expone a grandes daños reputacionales y responsabilidad legal; la violencia implica incitación y amenazas; las categorías de peligroso y delictivo cubren comportamientos de alto riesgo y actividades ilegales; la autolesión implica la seguridad del usuario y situaciones que amenazan la vida. Para estas seis categorías, los umbrales bajos de 0,1 a 0,2 están justificados independientemente de tu producto, y aceptas deliberadamente algunos falsos positivos.

Las categorías blandas dependen en gran medida del contexto de tu aplicación, con umbrales ajustables entre 0,3 y 0,8. Un chatbot médico legítimo necesita hablar de health, una aplicación fintech requiere conversaciones cubiertas por financial, un asistente legal maneja necesariamente law, y algunas aplicaciones recopilan legalmente datos que caen bajo pii. Un caso se lee de forma diferente: jailbreaking no depende del tema, sino de la intención de manipular el modelo, y sigue siendo crítico para cualquier aplicación abierta al público.

Análisis de puntuaciones en Python

La siguiente función transforma una llamada cruda a la API en un veredicto legible: aísla las categorías que superan 0,3, identifica la puntuación máxima y su categoría, y devuelve un indicador safe que puedes usar directamente en la lógica de tu aplicación.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analiza el texto y devuelve las categorías de riesgo."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separar categorías de riesgo
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hola, ¿cómo estás?"))
print(analyze_content("¿Qué dosis de paracetamol para un niño de 20 kg?"))

category_scores es opcional en el SDK, de ahí el or {}. Ejecuta ambos ejemplos en tu cuenta: el saludo debería mantenerse muy bajo en todos los aspectos, mientras que la pregunta sobre la dosis debería dispararse en health. Esto no es contenido «peligroso» en el sentido común; es contenido sobre el que debes decidir si entra en tu ámbito de aplicación.

Múltiples categorías: un texto puede activar varias alertas

Un solo texto puede tener puntuaciones altas en varias categorías simultáneamente: una solicitud de ayuda para cometer fraude fiscal activará criminal, financial y law a la vez. Tu lógica de decisión debe tener en cuenta esta multiplicidad y, sobre todo, priorizar: la función siguiente ordena las infracciones por la magnitud del incumplimiento del umbral, indicándote qué categoría impulsó realmente el bloqueo.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evalúa el riesgo global considerando todas las categorías."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuración por perfil
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

El perfil strict_thresholds sigue exactamente la lógica dura/blanda descrita anteriormente: umbrales de 0,1 a 0,15 en las seis categorías críticas y jailbreak, tolerancia en 0,3 para los dominios contextuales. Mantén esta estructura como punto de partida y documenta cualquier desviación que introduzcas.

Puntos clave

  • mistral-moderation-2603 analiza el contenido a través de 11 categorías con claves fijas; hate, violence o unpredictable no existen
  • Cada categoría devuelve una puntuación de 0,0 a 1,0
  • Las categorías «duras» (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) requieren umbrales bajos
  • Las categorías «blandas» (salud, finanzas, derecho) se ajustan según el contexto de tu aplicación
  • Un solo texto puede activar múltiples categorías simultáneamente
  • Usa puntuaciones crudas (category_scores) en lugar de booleanos predeterminados