Datasety: Vytváranie evaluačných súborov a iterácia
Na tejto strane
Lekcia prepísaná 2. novembra 2026 na základe stránky Mistral Datasets a SDK
mistralaiverzie 3.7.0: záznam obsahuje voľne štruktúrovanýpayloadaproperties; datasety sa napĺňajú ručným zadávaním, importom súboru alebo spanmi z Explorera a do offline evaluácií sa odovzdávajú v nezmenenej podobe. Metódaimport_from_explorerz predchádzajúcej verzie už neexistuje. Zdroje: Datasets · Explore traces.
Posledný článok iteračnej slučky
Dataset je kolekcia testovacích prípadov, ktorá poháňa offline evaluáciu. Vášmu procesu kontroly kvality dodáva pamäť: každý incident pozorovaný v produkcii sa môže stať testovacím prípadom a každá nová verzia aplikácie sa proti nemu meria. Bez stabilného datasetu porovnávate dojmy; s ním porovnávate čísla.
Štruktúra záznamu
V Studiu každý záznam obsahuje payload – JSON objekt, v ktorom definujete kľúče – a properties, čo sú metadáta, ktoré sa neposielajú vyhodnocovanej úlohe. Počas evaluácie sa payload stane vstupným záznamom presne tak, ako je (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Tento riadok zároveň predstavuje formát importu JSONL pre datasety v Studiu: jeden objekt na riadok obsahujúci payload a properties.
Zdroje dát
Dataset môžete naplniť niekoľkými spôsobmi:
- Ručné zadávanie v Studiu alebo cez API, záznam po zázname
- Import súboru JSONL pomocou vyššie uvedeného formátu
- Z Explorera: jeden span alebo až 500 vybraných spanov sa stane záznamami (Lekcia 12)
- Zo Studio Playground alebo z iného datasetu
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Vytvorenie datasetu
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Pridanie záznamov
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Pre veľké objemy dát metóda import_from_file importuje už nahraný súbor JSONL (podľa jeho file_id) a import_from_spans prijíma stopy spanov: tieto importy bežia ako úlohy na pozadí a ich priebeh môžete sledovať pomocou fetch_task.
Kontrola a export
list_records iteruje cez záznamy stránku po stránke (page_size, page) a export_to_jsonl generuje export, ktorého odpoveď poskytuje URL na stiahnutie (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Evaluácia na datasete v Studiu
Offline evaluácia číta dataset v Studiu podľa jeho slugu alebo ID:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Tu je client klientom evaluačného SDK a tache a exactitude sú definované v Lekcii 14. Odovzdajte presne jeden z parametrov slug alebo id; výber datasetu podľa slugu nikdy nevytvorí nový. Majte na pamäti dve pravidlá: spustenie číta záznamy prítomné pri štarte, až do limitu 10 000 – dataset nie je snímka, takže jeho úprava ovplyvní iba následné behy – a ak sa záznamy počas čítania pridajú alebo odstránia, beh zlyhá ešte pred spustením, namiesto toho, aby sa vykonal na nekonzistentnej množine.
Osvedčené postupy riadenia
Udržiavajte stabilnú referenčnú množinu. Dataset, ktorý sa mení pri každom behu, znemožňuje porovnávanie. Vytvorte referenčnú množinu, ktorú upravujete len zámerne, a popri nej udržujte samostatné pracovné datasety.
Kŕmte ho dátami z produkcie. Najužitočnejšie sú prípady, ktoré skutočne spôsobili problémy: span nájdený v Exploriere, kde opravíte očakávaný výstup, má väčšiu hodnotu ako desať vymyslených prípadov.
Dokumentujte pôvod. properties (pôvod, dátum, súvisiaci incident) úloha nevidí, ale o šesť mesiacov vám povedia, prečo daný prípad existuje.
Vyvažujte svoje dáta. Dataset obsahujúci iba jednoduché prípady váš systém nafukuje; ten, ktorý obsahuje iba pasce, ho odrádza. Snažte sa o skutočné rozdelenie vašej prevádzky plus o handful overených hraničných prípadov.
Kľúčové poznatky
- Záznam datasetu =
payload(vstup úlohy) aproperties(metadáta) - Ručné zadávanie, import JSONL, spany z Explorera, Playground: viacero zdrojov pre jeden dataset
- SDK poskytuje metódy
create,create_record,import_from_file,import_from_spans,list_recordsaexport_to_jsonl - Evaluácie čítajú dataset cez
Dataset(slug=...)aleboDataset(id=...), až do 10 000 záznamov - Dataset nie je snímka: na porovnávanie verzií udržujte stabilnú referenčnú množinu