Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Datasety: Vytváranie evaluačných súborov a iterácia

Lekcia 15 z 16 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Posledný článok iteračnej slučky
  2. Štruktúra záznamu
  3. Zdroje dát
  4. Kontrola a export
  5. Evaluácia na datasete v Studiu
  6. Osvedčené postupy riadenia
  7. Kľúčové poznatky

Lekcia prepísaná 2. novembra 2026 na základe stránky Mistral Datasets a SDK mistralai verzie 3.7.0: záznam obsahuje voľne štruktúrovaný payload a properties; datasety sa napĺňajú ručným zadávaním, importom súboru alebo spanmi z Explorera a do offline evaluácií sa odovzdávajú v nezmenenej podobe. Metóda import_from_explorer z predchádzajúcej verzie už neexistuje. Zdroje: Datasets · Explore traces.

Posledný článok iteračnej slučky

Dataset je kolekcia testovacích prípadov, ktorá poháňa offline evaluáciu. Vášmu procesu kontroly kvality dodáva pamäť: každý incident pozorovaný v produkcii sa môže stať testovacím prípadom a každá nová verzia aplikácie sa proti nemu meria. Bez stabilného datasetu porovnávate dojmy; s ním porovnávate čísla.

Štruktúra záznamu

V Studiu každý záznam obsahuje payload – JSON objekt, v ktorom definujete kľúče – a properties, čo sú metadáta, ktoré sa neposielajú vyhodnocovanej úlohe. Počas evaluácie sa payload stane vstupným záznamom presne tak, ako je (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Tento riadok zároveň predstavuje formát importu JSONL pre datasety v Studiu: jeden objekt na riadok obsahujúci payload a properties.

Zdroje dát

Dataset môžete naplniť niekoľkými spôsobmi:

  • Ručné zadávanie v Studiu alebo cez API, záznam po zázname
  • Import súboru JSONL pomocou vyššie uvedeného formátu
  • Z Explorera: jeden span alebo až 500 vybraných spanov sa stane záznamami (Lekcia 12)
  • Zo Studio Playground alebo z iného datasetu
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Vytvorenie datasetu
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Pridanie záznamov
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Pre veľké objemy dát metóda import_from_file importuje už nahraný súbor JSONL (podľa jeho file_id) a import_from_spans prijíma stopy spanov: tieto importy bežia ako úlohy na pozadí a ich priebeh môžete sledovať pomocou fetch_task.

Kontrola a export

list_records iteruje cez záznamy stránku po stránke (page_size, page) a export_to_jsonl generuje export, ktorého odpoveď poskytuje URL na stiahnutie (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Evaluácia na datasete v Studiu

Offline evaluácia číta dataset v Studiu podľa jeho slugu alebo ID:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Tu je client klientom evaluačného SDK a tache a exactitude sú definované v Lekcii 14. Odovzdajte presne jeden z parametrov slug alebo id; výber datasetu podľa slugu nikdy nevytvorí nový. Majte na pamäti dve pravidlá: spustenie číta záznamy prítomné pri štarte, až do limitu 10 000 – dataset nie je snímka, takže jeho úprava ovplyvní iba následné behy – a ak sa záznamy počas čítania pridajú alebo odstránia, beh zlyhá ešte pred spustením, namiesto toho, aby sa vykonal na nekonzistentnej množine.

Osvedčené postupy riadenia

Udržiavajte stabilnú referenčnú množinu. Dataset, ktorý sa mení pri každom behu, znemožňuje porovnávanie. Vytvorte referenčnú množinu, ktorú upravujete len zámerne, a popri nej udržujte samostatné pracovné datasety.

Kŕmte ho dátami z produkcie. Najužitočnejšie sú prípady, ktoré skutočne spôsobili problémy: span nájdený v Exploriere, kde opravíte očakávaný výstup, má väčšiu hodnotu ako desať vymyslených prípadov.

Dokumentujte pôvod. properties (pôvod, dátum, súvisiaci incident) úloha nevidí, ale o šesť mesiacov vám povedia, prečo daný prípad existuje.

Vyvažujte svoje dáta. Dataset obsahujúci iba jednoduché prípady váš systém nafukuje; ten, ktorý obsahuje iba pasce, ho odrádza. Snažte sa o skutočné rozdelenie vašej prevádzky plus o handful overených hraničných prípadov.

Kľúčové poznatky

  • Záznam datasetu = payload (vstup úlohy) a properties (metadáta)
  • Ručné zadávanie, import JSONL, spany z Explorera, Playground: viacero zdrojov pre jeden dataset
  • SDK poskytuje metódy create, create_record, import_from_file, import_from_spans, list_records a export_to_jsonl
  • Evaluácie čítajú dataset cez Dataset(slug=...) alebo Dataset(id=...), až do 10 000 záznamov
  • Dataset nie je snímka: na porovnávanie verzií udržujte stabilnú referenčnú množinu