Por qué asegurar tus aplicaciones de IA
En esta página
Actualizado el 2 de noviembre de 2026 — Modelos. Mistral Large 3 (
mistral-large-2512) y Mistral Medium 3.5 quedaron obsoletos el 31 de octubre de 2026 y se retirarán el 30 de abril de 2027. Su sucesor designado, Mistral Large 4 (mistral-large-4), está en vista previa pública desde el 6 de octubre. Los ejemplos de este curso utilizan el aliasmistral-large-latest, que actualmente apunta a Mistral Large 3 según su especificación oficial (verificado el 3 de noviembre de 2026). De igual forma,mistral-medium-latestapunta a Mistral Medium 3.5. Estos alias seguirán siendo válidos hasta el 30 de abril de 2027. Para nuevos proyectos, pruebamistral-large-4, su sucesor designado.
Corregido el 3 de noviembre de 2026. El ejemplo de barrera de protección utilizaba anteriormente un formato inventado (
guardrails={"enabled": True}). El parámetro oficial es una lista de configuracionesmoderation_llm_v2, detalladas en la siguiente lección. Se han eliminado dos cifras sin fuente («el 78 % de las empresas» y «menos de 50 ms de latencia»): Mistral no publica métricas de latencia para sus barreras de protección. Fuentes: Moderation & Guardrailing · SDKmistralai3.7.0.
Seguridad de la IA: un desafío crítico en 2026
Desplegar un modelo de lenguaje en producción sin mecanismos de seguridad es como lanzar un servicio web sin cortafuegos. Los grandes modelos de lenguaje (LLM) son herramientas potentes, pero pueden generar contenido inapropiado, filtrar datos sensibles o ser manipulados por usuarios malintencionados. No se trata de un problema teórico: se manifiesta en los primeros miles de solicitudes reales, tan pronto como tus usuarios se salen de los escenarios que imaginaste.
Como desarrollador, eres directamente responsable de lo que produce tu aplicación de IA. Si tu chatbot genera consejos médicos peligrosos o contenido de odio, tu empresa asume las consecuencias: legales, reputacionales y financieras. Nadie te preguntará si el modelo provenía de un proveedor externo.
Los tres tipos de riesgos
El primer riesgo es la generación de contenido inapropiado. El modelo puede producir contenido violento, sexual, discriminatorio o peligroso, incluso sin intención maliciosa por parte del usuario. Basta con un simple prompt ambiguo para desencadenar una respuesta problemática: pregunta a un asistente culinario cómo «neutralizar» un ingrediente y verás que la línea es más fina de lo esperado.
El segundo riesgo proviene de la manipulación del usuario, también conocida como inyección de prompts. Los usuarios malintencionados intentan eludir las instrucciones del sistema para forzar al modelo a producir contenido prohibido. Las técnicas de jailbreak evolucionan constantemente, se difunden por los foros en cuestión de horas y requieren defensas en capas, no una simple lista de palabras prohibidas.
El tercer riesgo es la filtración de datos sensibles. El modelo puede revelar inadvertidamente información de identificación personal (PII), secretos inyectados en el contexto o datos confidenciales presentes en su conjunto de entrenamiento. Piensa en un asistente de recursos humanos al que se le pregunta inocentemente: «¿Qué hay en el expediente de Marie?». La solicitud no es agresiva, pero el resultado es una brecha de datos.
El enfoque de Mistral: dos líneas de defensa
Mistral aborda estos riesgos con dos capas complementarias: una aguas arriba y otra aguas abajo. La primera, las barreras de protección personalizadas (Custom Guardrails), analiza el prompt del usuario antes de que llegue al modelo. Si el contenido se considera peligroso, la solicitud se bloquea con un error 403: el modelo nunca ve el prompt y no genera nada a partir de él.
# El prompt se analiza ANTES del modelo
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": prompt}],
guardrails=[ # Primera línea de defensa
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.3},
"action": "block",
},
}
],
)
La segunda capa, la API de Moderación, funciona en la dirección opuesta: analiza el contenido después de la generación para asignar puntuaciones de riesgo por categoría. A diferencia de las barreras de protección, no toma decisiones por ti. Recuperas las puntuaciones y decides qué hacer a continuación: mostrar, ocultar, marcar o bloquear.
# El contenido generado se analiza DESPUÉS de la generación
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": prompt},
{"role": "assistant", "content": texte_genere}, # el texto de respuesta
],
)
Por qué son necesarias ambas
Cada capa tiene un punto ciego que la otra cubre. Las barreras de protección por sí solas no bastan: el modelo puede generar contenido problemático incluso a partir de un prompt inofensivo, y el análisis de entrada no puede anticiparlo todo. La moderación por sí sola tampoco es suficiente: detecta problemas a posteriori, sin evitar nunca que el modelo procese solicitudes maliciosas o desperdicie tiempo de cómputo en ellas.
Combinadas, forman una defensa en profundidad: el filtrado de entrada es proactivo, el de salida es reactivo, y el contenido peligroso debe superar ambas barreras para llegar al usuario. Es esta redundancia, y no la perfección de un único filtro, lo que hace robusta la arquitectura.
Tu responsabilidad como desarrollador
El marco normativo europeo impone obligaciones concretas bajo la Ley de IA y el RGPD (Reglamento General de Protección de Datos). Debes garantizar la transparencia, es decir, informar a los usuarios de que interactúan con una IA, y la trazabilidad, manteniendo registros de moderación utilizables durante una auditoría. También aplica el principio de proporcionalidad: los umbrales de seguridad para un asistente diseñado para profesionales de la salud no pueden ser los mismos que para un chatbot de consumo, y debes poder justificar tu elección. Por último, la protección de datos prohíbe procesar PII sin una base legal, incluso en tus registros de moderación.
En este curso aprenderás a implementar estas dos líneas de defensa con la API de Mistral, configurar tus umbrales y construir una arquitectura de seguridad completa para tus aplicaciones en producción.
Puntos clave
- Los LLM en producción requieren mecanismos de seguridad
- Mistral ofrece dos enfoques complementarios: barreras de protección (antes) y moderación (después)
- Eres responsable del contenido generado por tu aplicación
- La seguridad de la IA no es opcional: es una obligación legal y ética