Ir al contenido principal
Español— Elegir un idioma
Menú

Conjuntos de datos: Crear conjuntos de evaluación e iterar

Lección 15 de 16 Actualizado el 2 de noviembre de 2026 Avanzado
En esta página
  1. El eslabón final del bucle de iteración
  2. Estructura del registro
  3. Fuentes de datos
  4. Revisión y exportación
  5. Evaluar sobre un conjunto de datos de Studio
  6. Mejores prácticas de gestión
  7. Puntos clave

Lección reescrita el 2 de noviembre de 2026 basándose en la página Datasets de Mistral y el SDK mistralai 3.7.0: un registro contiene un payload de formato libre y properties; los conjuntos de datos se pueblan mediante entrada manual, importación de archivos o spans del Explorador, y se pasan tal cual a las evaluaciones fuera de línea. El método import_from_explorer de la versión anterior ya no existe. Fuentes: Datasets · Explore traces.

El eslabón final del bucle de iteración

Un conjunto de datos es la colección de casos de prueba que impulsa una evaluación fuera de línea. Proporciona memoria a tu proceso de calidad: cada incidente observado en producción puede convertirse en un caso de prueba, y cada nueva versión de la aplicación se mide frente a él. Sin un conjunto de datos estable, estás comparando impresiones; con uno, estás comparando números.

Estructura del registro

En Studio, cada registro contiene un payload (un objeto JSON donde defines las claves) y properties (metadatos que no se pasan a la tarea evaluada). Durante una evaluación, el payload se convierte en el registro de entrada exactamente como está (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Esta línea representa también el formato de importación JSONL para los conjuntos de datos de Studio: un objeto por línea que contiene payload y properties.

Fuentes de datos

Puedes poblar un conjunto de datos de varias formas:

  • Entrada manual, en Studio o mediante la API, registro a registro
  • Importación de archivo JSONL usando el formato anterior
  • Desde el Explorador: un único span, o hasta 500 spans seleccionados, se convierten en registros (Lección 12)
  • Desde el Playground de Studio o desde otro conjunto de datos
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Crear el conjunto de datos
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Añadir registros
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Para grandes volúmenes, import_from_file importa un archivo JSONL ya subido (mediante su file_id), y import_from_spans ingiere spans de trazas: estas importaciones se ejecutan como tareas en segundo plano y puedes seguir su progreso con fetch_task.

Revisión y exportación

list_records itera a través de los registros página a página (page_size, page), y export_to_jsonl genera una exportación cuya respuesta proporciona la URL de descarga (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Evaluar sobre un conjunto de datos de Studio

Una evaluación fuera de línea lee un conjunto de datos de Studio mediante su slug o ID:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Aquí, client es el cliente del SDK de evaluación, y tache y exactitude están definidos en la Lección 14. Pasa exactamente uno de los parámetros slug o id; seleccionar un conjunto de datos por su slug nunca crea uno nuevo. Ten en cuenta dos reglas: una ejecución lee los registros presentes al inicio, hasta 10.000 (un conjunto de datos no es una instantánea, por lo que modificarlo solo afecta a ejecuciones posteriores) y, si se añaden o eliminan registros durante la lectura, la ejecución falla antes de comenzar en lugar de ejecutarse sobre un conjunto inconsistente.

Mejores prácticas de gestión

Mantén un conjunto de referencia estable. Un conjunto de datos que cambia en cada ejecución hace imposible la comparación. Crea un conjunto de referencia que solo modifiques de forma deliberada y mantén conjuntos de trabajo separados junto a él.

Aliméntalo desde producción. Los casos más útiles son aquellos que realmente causaron problemas: un span detectado en el Explorador, donde corriges la salida esperada, vale más que diez casos inventados.

Documenta la procedencia. Las properties (origen, fecha, incidente relacionado) no las ve la tarea, pero te dirán dentro de seis meses por qué existe un caso.

Equilibra tus datos. Un conjunto de datos que contiene solo casos fáciles halaga a tu sistema; uno que contiene solo trampas lo desanima. Apunta a la distribución real de tu tráfico, más un puñado de casos límite reconocidos.

Puntos clave

  • Un registro de conjunto de datos = un payload (entrada de la tarea) y properties (metadatos)
  • Entrada manual, importación JSONL, spans del Explorador, Playground: múltiples fuentes para un único conjunto de datos
  • El SDK expone create, create_record, import_from_file, import_from_spans, list_records y export_to_jsonl
  • Las evaluaciones leen un conjunto de datos mediante Dataset(slug=...) o Dataset(id=...), hasta 10.000 registros
  • Un conjunto de datos no es una instantánea: mantén un conjunto de referencia estable para comparar versiones