Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Datasets : construire des ensembles d'évaluation et itérer

Les 15 van 16 Bijgewerkt op 2 november 2026 Gevorderd
Op deze pagina
  1. Le dernier maillon de la boucle d’itération
  2. Structure d’un enregistrement
  3. Sources de données
  4. Consultation et export
  5. Évaluer sur un dataset Studio
  6. Bonnes pratiques de gestion
  7. Belangrijkste punten

Leçon réécrite le 2 novembre 2026 sur la base de la page Datasets de Mistral et du SDK mistralai 3.7.0 : un enregistrement contient un payload libre et des properties ; les datasets sont alimentés par saisie manuelle, import de fichier ou spans depuis l’Explorer, et transmis tels quels aux évaluations hors ligne. La méthode import_from_explorer de la version précédente n’existe plus. Sources : Datasets · Explore traces.

Le dernier maillon de la boucle d’itération

Un dataset est la collection de cas de test qui pilote une évaluation hors ligne. Il donne une mémoire à votre processus qualité : chaque incident observé en production peut devenir un cas de test, et chaque nouvelle version de l’application est mesurée contre lui. Sans dataset stable, vous comparez des impressions ; avec un dataset, vous comparez des chiffres.

Structure d’un enregistrement

Dans Studio, chaque enregistrement contient un payload — un objet JSON où vous définissez les clés — et des properties, qui sont des métadonnées non transmises à la tâche évaluée. Lors d’une évaluation, le payload devient l’enregistrement d’entrée tel quel (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Cette ligne représente également le format d’import JSONL pour les datasets Studio : un objet par ligne, contenant payload et properties.

Sources de données

Vous pouvez alimenter un dataset de plusieurs façons :

  • Saisie manuelle, dans Studio ou via l’API, enregistrement par enregistrement
  • Import de fichier JSONL utilisant le format ci-dessus
  • Depuis l’Explorer : une seule span, ou jusqu’à 500 spans sélectionnées, deviennent des enregistrements (Leçon 12)
  • Depuis le Playground Studio ou depuis un autre dataset
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Créer le dataset
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Ajouter des enregistrements
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Pour les gros volumes, import_from_file importe un fichier JSONL déjà téléversé (via son file_id), et import_from_spans ingère des spans de trace : ces imports s’exécutent en tâche de fond, et vous pouvez suivre leur progression avec fetch_task.

Consultation et export

list_records itère sur les enregistrements page par page (page_size, page), et export_to_jsonl génère un export dont la réponse fournit l’URL de téléchargement (file_url) :

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Évaluer sur un dataset Studio

Une évaluation hors ligne lit un dataset Studio par son slug ou son ID :

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Ici, client est le client SDK d’évaluation, et tache et exactitude sont définis dans la Leçon 14. Passez exactement l’un des deux : slug ou id ; sélectionner un dataset par son slug ne crée jamais un nouveau dataset. Gardez deux règles en tête : une exécution lit les enregistrements présents au démarrage, jusqu’à 10 000 — un dataset n’est pas un instantané, donc le modifier n’affecte que les exécutions suivantes — et si des enregistrements sont ajoutés ou supprimés pendant la lecture, l’exécution échoue avant de démarrer plutôt que de s’exécuter sur un ensemble incohérent.

Bonnes pratiques de gestion

Conservez un ensemble de référence stable. Un dataset qui change à chaque exécution rend toute comparaison impossible. Créez un ensemble de référence que vous ne modifiez que délibérément, et maintenez des datasets de travail séparés à côté.

Alimentez-le depuis la production. Les cas les plus utiles sont ceux qui ont réellement causé des problèmes : une span repérée dans l’Explorer, dont vous corrigez la sortie attendue, vaut plus que dix cas inventés.

Documentez la provenance. Les properties (origine, date, incident lié) ne sont pas vues par la tâche, mais elles vous diront dans six mois pourquoi un cas existe.

Équilibrez vos données. Un dataset contenant uniquement des cas faciles flatte votre système ; un dataset contenant uniquement des pièges le décourage. Visez la distribution réelle de votre trafic, plus une poignée de cas limites reconnus.

Belangrijkste punten

  • Un enregistrement de dataset = un payload (entrée de tâche) et des properties (métadonnées)
  • Saisie manuelle, import JSONL, spans Explorer, Playground : multiples sources pour un seul dataset
  • Le SDK expose create, create_record, import_from_file, import_from_spans, list_records et export_to_jsonl
  • Les évaluations lisent un dataset via Dataset(slug=...) ou Dataset(id=...), jusqu’à 10 000 enregistrements
  • Un dataset n’est pas un instantané : conservez un ensemble de référence stable pour comparer les versions