Canalización de extremo a extremo: trazas, jueces, conjuntos de datos, evaluaciones
En esta página
Lección reescrita el 2 de noviembre de 2026 basándose en la documentación de Observabilidad de Mistral y el SDK
mistralai3.7.0: la canalización encadena ahora trazas, jueces, conjuntos de datos y evaluaciones sin conexión. La funcionalidad «Campaigns» y los métodoschat_completion_events.search,campaigns.*eimport_from_explorerde la versión anterior ya no existen. Fuentes: Explorar trazas · Evaluaciones sin conexión.
El flujo de trabajo de observabilidad de extremo a extremo
Ya dominas cada componente de la pila de observabilidad de Mistral. Esta lección final ensambla las piezas en una canalización completa que puedes reproducir y adaptar a tu contexto de producción.
Rastrear y explorar
Activa la telemetría y, a continuación, filtra las trazas de los últimos 7 días en el Explorador: errores, lentitud, respuestas sospechosas. Anota la expresión de búsqueda.
Juzgar
Formaliza el criterio de calidad en cuestión en un juez (clasificación o regresión), validado en entre 10 y 20 casos conocidos.
Construir un conjunto de datos
Transforma los segmentos problemáticos en registros, con la salida esperada corregida manualmente.
Evaluar
Mide la versión actual y, a continuación, cada variante frente a este conjunto de datos, con objetivos de APROBADO/SUSPENSO.
Iterar
Despliega la variante ganadora, mantén el conjunto de datos como barrera de seguridad contra regresiones y repite el proceso.
Implementación en Python
El siguiente script automatiza los pasos 1, 3 y 4; el juez del paso 2 se crea una sola vez, como en la Lección 13. Coexisten dos clientes: el cliente del SDK mistralai para trazas y conjuntos de datos, y el cliente mistralai-evaluations para la evaluación.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Identificar trazas fallidas de la semana
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Añadir casos revisados y corregidos manualmente al conjunto de datos
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. Evaluar la versión candidata (tarea y precisión: véase la Lección 14)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Si se ejecuta semanalmente, este script amplía el conjunto de datos de no regresión con incidentes reales, y cada versión candidata debe cumplir sus objetivos en este conjunto de datos antes del despliegue.
Resumen del curso
Este curso te ha guiado a través de cuatro dominios esenciales para la producción de IA con Mistral:
Inferencia por lotes (Lecciones 1-4)
Sabes cómo procesar millones de solicitudes a un coste reducido, utilizando formato JSONL, procesamiento por lotes de archivos y procesamiento por lotes en línea.
Salidas predichas (Lecciones 5-7)
Sabes cómo reducir la latencia de generación proporcionando una predicción de salida, especialmente para la edición de código y texto.
Citas y referencias (Lecciones 8-10)
Sabes cómo anclar las respuestas de tu LLM en fuentes verificadas, analizar citas y construir canalizaciones RAG fiables.
Observabilidad (Lecciones 11-16)
Sabes cómo rastrear tu aplicación con OpenTelemetry, explorar trazas de producción, automatizar la evaluación de calidad con jueces, construir conjuntos de datos y medir cada versión mediante evaluaciones sin conexión.
Siguientes pasos recomendados
La mejor manera de consolidar estas habilidades es aplicarlas en el orden que más beneficie a tu entorno de producción. Comienza desplegando una canalización por lotes en un caso de uso concreto de tu organización: una clasificación mensual, un enriquecimiento de catálogo, ya que es la ganancia más rápida de demostrar. A continuación, integra Salidas Predichas allí donde tus herramientas editen código o documentos existentes: la ganancia de latencia es medible en días. Añade citas a tu sistema RAG tan pronto como los usuarios confíen en sus respuestas para tomar decisiones. Por último, la observabilidad comienza con el envío de trazas, algo posible con una simple clave de API; el Explorador y las evaluaciones sin conexión requieren una organización Enterprise. Es el nivel Enterprise el que transformará las tres primeras iniciativas en un bucle de mejora continua, en lugar de despliegues puntuales.
Puntos clave
- La canalización sigue el bucle: rastrear y explorar, juzgar, construir un conjunto de datos, evaluar, iterar
- Cada incidente de producción puede convertirse en un caso de prueba, y cada versión candidata debe cumplir sus objetivos
- Automatiza el bucle con el SDK (
traces.search,datasets.create_record,evaluation.run) y ejecútalo a intervalos regulares - Los cuatro dominios de este curso (lotes, salidas predichas, citas, observabilidad) se complementan para una producción de IA robusta
Pon a prueba tus conocimientos
Lotes, latencia, citas, observabilidad: los cuatro pilares de la producción.
1. ¿Cuándo es la opción correcta la Inferencia por lotes?
Respuesta: Para grandes volúmenes sin restricciones de tiempo real: trabajos JSONL asíncronos (o en línea hasta 10 000 solicitudes) a coste reducido: clasificación, enriquecimiento, generación masiva.
2. ¿Qué son las Salidas Predichas?
Respuesta: Una aceleración cuando la respuesta es en gran medida predecible (edición de texto existente, plantillas): proporcionas la predicción y el modelo solo «paga» por las diferencias; la latencia cae significativamente.
3. ¿Qué permiten las citas con Objeto de Referencia?
Respuesta: Vincular cada afirmación de la respuesta a sus fuentes en un RAG: respuestas verificables, reducción de alucinaciones; la confianza se convierte en una propiedad del producto.
4. ¿Qué haces en el Explorador?
Respuesta: Buscar e inspeccionar trazas de producción, utilizando un lenguaje de expresiones sobre service_name, status_code, duration_ns o atributos de segmento, para encontrar solicitudes problemáticas y convertirlas en casos de prueba: la materia prima para cualquier mejora.
5. ¿Cómo trabajan juntos jueces, conjuntos de datos y evaluaciones?
Respuesta: Los jueces evalúan automáticamente (LLM como juez), los conjuntos de datos acumulan casos de prueba extraídos de la producción y las evaluaciones sin conexión miden cada versión frente a estos conjuntos de datos con objetivos de APROBADO/SUSPENSO: el bucle traza → juzga → construye → evalúa.
La canalización final del curso encadena los cuatro elementos: producir económicamente, responder rápidamente, fundamentar las respuestas, observar: producción madura en un único flujo de trabajo.