Ir al contenido principal
Español— Elegir un idioma
Menú

Introducción a la observabilidad: trazas, jueces y evaluaciones

Lección 11 de 16 Actualizado el 2 de noviembre de 2026 Avanzado
En esta página
  1. Por qué la observabilidad es esencial
  2. Los tres pilares de la observabilidad
  3. Los cuatro componentes
  4. Requisitos previos y estado
  5. El flujo de trabajo típico
  6. Puntos clave

Reescrito el 2 de noviembre de 2026 basándose en la documentación de Observabilidad de Mistral y el SDK mistralai 3.7.0: la observabilidad se basa ahora en trazas de OpenTelemetry exploradas en Studio, jueces de LLM y evaluaciones sin conexión (mistralai-evaluations). Las «Campañas» y la API chat_completion_events de lecciones anteriores ya no existen. Fuentes: Trazado distribuido · Evaluaciones sin conexión.

Por qué la observabilidad es esencial

Tus paneles estándar —latencia, tasas de error, disponibilidad— pueden permanecer en verde mientras un asistente ofrece respuestas irrelevantes, inventa procedimientos o cambia de tono tras una actualización del prompt. Un LLM en producción rara vez falla lanzando una excepción; falla sirviendo una respuesta incorrecta con total confianza. La observabilidad de LLM hace que estos fallos sean visibles, medibles y corregibles.

Los tres pilares de la observabilidad

1. Visibilidad: ver qué está ocurriendo

Cada solicitud desde tu aplicación se convierte en una traza: un árbol de segmentos (spans) que representa cada paso de la ejecución —llamada al modelo, llamada a herramienta, paso de flujo de trabajo— junto con su entrada, salida, duración, recuento de tokens y estado. Estas trazas siguen el estándar OpenTelemetry, y el Explorador de Studio te permite buscarlas e inspeccionarlas.

2. Señales de calidad: medir automáticamente

Revisar manualmente miles de conversaciones es imposible. Los jueces son evaluadores basados en LLM que configuras una sola vez —con instrucciones, un modelo y un formato de salida— y que luego aplicas a conversaciones o grabaciones de conjuntos de datos para obtener una etiqueta o una puntuación.

3. Bucles de iteración: mejorar continuamente

Los conjuntos de datos (datasets) reúnen casos de prueba, a menudo extraídos de trazas reales, y las evaluaciones sin conexión miden una versión de tu aplicación —modelo, prompt, parámetros— frente a ellos antes del despliegue. Comparas versiones, conservas la mejor y repites el proceso.

Los cuatro componentes

Componente Función Analogía
Trazas y Explorador Recopilar, buscar e inspeccionar actividad Un APM para IA
Jueces Evaluar la calidad automáticamente Un revisor incansable
Conjuntos de datos Almacenar casos de prueba Un conjunto de pruebas de regresión
Evaluaciones Medir una versión frente a un conjunto de datos CI para la calidad de la IA

Requisitos previos y estado

Ten en cuenta tres puntos antes de empezar:

  • Estado: La observabilidad de Mistral está en vista previa privada y su integración con el SDK cambia rápidamente. Mistral recomienda usar la última versión del SDK.
  • Envío de trazas: solo requiere una clave de API válida. El trazado está desactivado por defecto y debe habilitarse por fuente (se cubre en la siguiente lección).
  • Lectura de trazas en Studio requiere una organización Enterprise y un rol adecuado (Administrador de organización, Administrador de espacio de trabajo o Visor de observabilidad). Las evaluaciones sin conexión y la adición de segmentos a un conjunto de datos también están limitadas a organizaciones Enterprise. Las trazas se conservan durante 30 días.

Si tu organización aún no tiene acceso, esta sección sigue mereciendo tu tiempo: los conceptos —trazado, juicio, construcción de conjuntos de prueba y evaluación antes del despliegue— se aplican a cualquier herramienta OpenTelemetry.

El flujo de trabajo típico

Los componentes forman un bucle continuo:

  1. Trazar y explorar: instrumenta tu aplicación y usa el Explorador para detectar trazas problemáticas (errores, lentitud, respuestas cuestionables).
  2. Juzgar: crea un juez que formalice el criterio de calidad relevante.
  3. Construir un conjunto de datos: convierte segmentos reales en casos de prueba.
  4. Evaluar: mide la versión actual y luego cada variante frente a este conjunto de datos.

Cada ciclo te acerca a un sistema más fiable y mejor calibrado.

Puntos clave

  • La observabilidad de LLM expone fallos que la monitorización estándar pasa por alto: respuestas incorrectas.
  • Las trazas de OpenTelemetry (y su Explorador), los jueces, los conjuntos de datos y las evaluaciones sin conexión forman el bucle de mejora.
  • La observabilidad de Mistral está en vista previa privada; el envío de trazas solo requiere una clave de API, mientras que la lectura de trazas y la ejecución de evaluaciones sin conexión requieren una organización Enterprise.
  • Las trazas se conservan durante 30 días.