Introducción a la observabilidad: trazas, jueces y evaluaciones
En esta página
Reescrito el 2 de noviembre de 2026 basándose en la documentación de Observabilidad de Mistral y el SDK
mistralai3.7.0: la observabilidad se basa ahora en trazas de OpenTelemetry exploradas en Studio, jueces de LLM y evaluaciones sin conexión (mistralai-evaluations). Las «Campañas» y la APIchat_completion_eventsde lecciones anteriores ya no existen. Fuentes: Trazado distribuido · Evaluaciones sin conexión.
Por qué la observabilidad es esencial
Tus paneles estándar —latencia, tasas de error, disponibilidad— pueden permanecer en verde mientras un asistente ofrece respuestas irrelevantes, inventa procedimientos o cambia de tono tras una actualización del prompt. Un LLM en producción rara vez falla lanzando una excepción; falla sirviendo una respuesta incorrecta con total confianza. La observabilidad de LLM hace que estos fallos sean visibles, medibles y corregibles.
Los tres pilares de la observabilidad
1. Visibilidad: ver qué está ocurriendo
Cada solicitud desde tu aplicación se convierte en una traza: un árbol de segmentos (spans) que representa cada paso de la ejecución —llamada al modelo, llamada a herramienta, paso de flujo de trabajo— junto con su entrada, salida, duración, recuento de tokens y estado. Estas trazas siguen el estándar OpenTelemetry, y el Explorador de Studio te permite buscarlas e inspeccionarlas.
2. Señales de calidad: medir automáticamente
Revisar manualmente miles de conversaciones es imposible. Los jueces son evaluadores basados en LLM que configuras una sola vez —con instrucciones, un modelo y un formato de salida— y que luego aplicas a conversaciones o grabaciones de conjuntos de datos para obtener una etiqueta o una puntuación.
3. Bucles de iteración: mejorar continuamente
Los conjuntos de datos (datasets) reúnen casos de prueba, a menudo extraídos de trazas reales, y las evaluaciones sin conexión miden una versión de tu aplicación —modelo, prompt, parámetros— frente a ellos antes del despliegue. Comparas versiones, conservas la mejor y repites el proceso.
Los cuatro componentes
| Componente | Función | Analogía |
|---|---|---|
| Trazas y Explorador | Recopilar, buscar e inspeccionar actividad | Un APM para IA |
| Jueces | Evaluar la calidad automáticamente | Un revisor incansable |
| Conjuntos de datos | Almacenar casos de prueba | Un conjunto de pruebas de regresión |
| Evaluaciones | Medir una versión frente a un conjunto de datos | CI para la calidad de la IA |
Requisitos previos y estado
Ten en cuenta tres puntos antes de empezar:
- Estado: La observabilidad de Mistral está en vista previa privada y su integración con el SDK cambia rápidamente. Mistral recomienda usar la última versión del SDK.
- Envío de trazas: solo requiere una clave de API válida. El trazado está desactivado por defecto y debe habilitarse por fuente (se cubre en la siguiente lección).
- Lectura de trazas en Studio requiere una organización Enterprise y un rol adecuado (Administrador de organización, Administrador de espacio de trabajo o Visor de observabilidad). Las evaluaciones sin conexión y la adición de segmentos a un conjunto de datos también están limitadas a organizaciones Enterprise. Las trazas se conservan durante 30 días.
Si tu organización aún no tiene acceso, esta sección sigue mereciendo tu tiempo: los conceptos —trazado, juicio, construcción de conjuntos de prueba y evaluación antes del despliegue— se aplican a cualquier herramienta OpenTelemetry.
El flujo de trabajo típico
Los componentes forman un bucle continuo:
- Trazar y explorar: instrumenta tu aplicación y usa el Explorador para detectar trazas problemáticas (errores, lentitud, respuestas cuestionables).
- Juzgar: crea un juez que formalice el criterio de calidad relevante.
- Construir un conjunto de datos: convierte segmentos reales en casos de prueba.
- Evaluar: mide la versión actual y luego cada variante frente a este conjunto de datos.
Cada ciclo te acerca a un sistema más fiable y mejor calibrado.
Puntos clave
- La observabilidad de LLM expone fallos que la monitorización estándar pasa por alto: respuestas incorrectas.
- Las trazas de OpenTelemetry (y su Explorador), los jueces, los conjuntos de datos y las evaluaciones sin conexión forman el bucle de mejora.
- La observabilidad de Mistral está en vista previa privada; el envío de trazas solo requiere una clave de API, mientras que la lectura de trazas y la ejecución de evaluaciones sin conexión requieren una organización Enterprise.
- Las trazas se conservan durante 30 días.