Conjuntos de datos: Crear conjuntos de evaluación e iterar
En esta página
Lección reescrita el 2 de noviembre de 2026 basándose en la página Datasets de Mistral y el SDK
mistralai3.7.0: un registro contiene unpayloadde formato libre yproperties; los conjuntos de datos se pueblan mediante entrada manual, importación de archivos o spans del Explorador, y se pasan tal cual a las evaluaciones fuera de línea. El métodoimport_from_explorerde la versión anterior ya no existe. Fuentes: Datasets · Explore traces.
El eslabón final del bucle de iteración
Un conjunto de datos es la colección de casos de prueba que impulsa una evaluación fuera de línea. Proporciona memoria a tu proceso de calidad: cada incidente observado en producción puede convertirse en un caso de prueba, y cada nueva versión de la aplicación se mide frente a él. Sin un conjunto de datos estable, estás comparando impresiones; con uno, estás comparando números.
Estructura del registro
En Studio, cada registro contiene un payload (un objeto JSON donde defines las claves) y properties (metadatos que no se pasan a la tarea evaluada). Durante una evaluación, el payload se convierte en el registro de entrada exactamente como está (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Esta línea representa también el formato de importación JSONL para los conjuntos de datos de Studio: un objeto por línea que contiene payload y properties.
Fuentes de datos
Puedes poblar un conjunto de datos de varias formas:
- Entrada manual, en Studio o mediante la API, registro a registro
- Importación de archivo JSONL usando el formato anterior
- Desde el Explorador: un único span, o hasta 500 spans seleccionados, se convierten en registros (Lección 12)
- Desde el Playground de Studio o desde otro conjunto de datos
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Crear el conjunto de datos
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Añadir registros
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Para grandes volúmenes, import_from_file importa un archivo JSONL ya subido (mediante su file_id), y import_from_spans ingiere spans de trazas: estas importaciones se ejecutan como tareas en segundo plano y puedes seguir su progreso con fetch_task.
Revisión y exportación
list_records itera a través de los registros página a página (page_size, page), y export_to_jsonl genera una exportación cuya respuesta proporciona la URL de descarga (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Evaluar sobre un conjunto de datos de Studio
Una evaluación fuera de línea lee un conjunto de datos de Studio mediante su slug o ID:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Aquí, client es el cliente del SDK de evaluación, y tache y exactitude están definidos en la Lección 14. Pasa exactamente uno de los parámetros slug o id; seleccionar un conjunto de datos por su slug nunca crea uno nuevo. Ten en cuenta dos reglas: una ejecución lee los registros presentes al inicio, hasta 10.000 (un conjunto de datos no es una instantánea, por lo que modificarlo solo afecta a ejecuciones posteriores) y, si se añaden o eliminan registros durante la lectura, la ejecución falla antes de comenzar en lugar de ejecutarse sobre un conjunto inconsistente.
Mejores prácticas de gestión
Mantén un conjunto de referencia estable. Un conjunto de datos que cambia en cada ejecución hace imposible la comparación. Crea un conjunto de referencia que solo modifiques de forma deliberada y mantén conjuntos de trabajo separados junto a él.
Aliméntalo desde producción. Los casos más útiles son aquellos que realmente causaron problemas: un span detectado en el Explorador, donde corriges la salida esperada, vale más que diez casos inventados.
Documenta la procedencia. Las properties (origen, fecha, incidente relacionado) no las ve la tarea, pero te dirán dentro de seis meses por qué existe un caso.
Equilibra tus datos. Un conjunto de datos que contiene solo casos fáciles halaga a tu sistema; uno que contiene solo trampas lo desanima. Apunta a la distribución real de tu tráfico, más un puñado de casos límite reconocidos.
Puntos clave
- Un registro de conjunto de datos = un
payload(entrada de la tarea) yproperties(metadatos) - Entrada manual, importación JSONL, spans del Explorador, Playground: múltiples fuentes para un único conjunto de datos
- El SDK expone
create,create_record,import_from_file,import_from_spans,list_recordsyexport_to_jsonl - Las evaluaciones leen un conjunto de datos mediante
Dataset(slug=...)oDataset(id=...), hasta 10.000 registros - Un conjunto de datos no es una instantánea: mantén un conjunto de referencia estable para comparar versiones