Datasety: Tvorba evaluačních sad a iterace
Na této stránce
Lekce přepsána 2. listopadu 2026 na základě stránky Mistral Datasets a SDK
mistralaiverze 3.7.0: záznam obsahuje volně strukturovanýpayloadaproperties; datasety se plní ručním zadáním, importem souboru nebo spány z Exploreru a předávají se v nezměněné podobě do offline evaluací. Metodaimport_from_explorerz předchozí verze již neexistuje. Zdroje: Datasets · Explore traces.
Poslední článek iterační smyčky
Dataset je kolekce testovacích případů, která pohání offline evaluaci. Dodává vašemu procesu kontroly kvality paměť: každý incident pozorovaný v produkci se může stát testovacím případem a každá nová verze aplikace se proti němu měří. Bez stabilního datasetu porovnáváte dojmy; s ním porovnáváte čísla.
Struktura záznamu
V Studiu obsahuje každý záznam payload – JSON objekt, kde definujete klíče – a properties, což jsou metadata nepředávaná evaluované úloze. Během evaluace se payload stane vstupním záznamem přesně tak, jak je (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Tento řádek také představuje formát importu JSONL pro datasety ve Studiu: jeden objekt na řádek obsahující payload a properties.
Zdroje dat
Dataset můžete naplnit několika způsoby:
- Ruční zadání ve Studiu nebo přes API, záznam po záznamu
- Import souboru JSONL pomocí výše uvedeného formátu
- Z Exploreru: jeden span nebo až 500 vybraných spanů se stane záznamy (lekce 12)
- Ze Studio Playground nebo z jiného datasetu
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Vytvoření datasetu
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Přidání záznamů
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Pro velké objemy dat metoda import_from_file importuje již nahraný soubor JSONL (podle jeho file_id) a import_from_spans ingestuje spány tras: tyto importy běží jako úlohy na pozadí a jejich průběh můžete sledovat pomocí fetch_task.
Revize a export
list_records iteruje záznamy stránku po stránce (page_size, page) a export_to_jsonl generuje export, jehož odpověď poskytuje URL pro stažení (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Evaluace na datasetu ve Studiu
Offline evaluace čte dataset ve Studiu podle jeho slugu nebo ID:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Zde je client klientem evaluačního SDK a tache a exactitude jsou definovány v lekci 14. Předejte přesně jeden z parametrů slug nebo id; výběr datasetu podle slugu nikdy nevytvoří nový. Měj na paměti dvě pravidla: běh čte záznamy přítomné při startu, až do limitu 10 000 – dataset není snapshot, takže jeho úprava ovlivní pouze následující běhy – a pokud jsou záznamy přidány nebo odebrány během čtení, běh selže ještě před spuštěním, místo aby se执行oval na nekonzistentní sadě.
Osvědčené postupy správy
Udržuj stabilní referenční sadu. Dataset, který se mění s každým během, znemožňuje srovnání. Vytvoř referenční sadu, kterou měníš pouze záměrně, a udržuj vedle ní samostatné pracovní datasety.
Krm ji daty z produkce. Nejužitečnější jsou případy, které skutečně způsobily problémy: span nalezený v Exploreru, kde opravíš očekávaný výstup, má větší hodnotu než deset vymyšlených případů.
Dokumentuj původ. properties (původ, datum, související incident) úloha nevidí, ale za šest měsíců ti řeknou, proč daný případ existuje.
Vyvaž svá data. Dataset obsahující pouze snadné případy lichotí tvému systému; ten s pouze nástrahami ho odrazuje. Cílem je skutečné rozložení tvého provozu plus hrstka uznávaných hraničních případů.
Klíčové poznatky
- Záznam datasetu =
payload(vstup úlohy) aproperties(metadata) - Ruční zadání, import JSONL, spány z Exploreru, Playground: více zdrojů pro jeden dataset
- SDK expose metody
create,create_record,import_from_file,import_from_spans,list_recordsaexport_to_jsonl - Evaluace čtou dataset přes
Dataset(slug=...)neboDataset(id=...), až do 10 000 záznamů - Dataset není snapshot: udržuj stabilní referenční sadu pro porovnávání verzí