Datasets: Ibni settijiet ta' evalwazzjoni u itera
F'din il-paġna
Lezzjon miktuba mill-ġdid fit-2 ta’ Novembru 2026 abbażi tal-paġna Datasets ta’ Mistral u l-SDK
mistralai3.7.0: rekord fihpayloadb’forma ħielsa uproperties; id-datasets jimtlew permezz ta’ dħul manwali, importazzjoni ta’ fajl, jew spans mill-Explorer, u jgħaddu kif inhu għall-evalwazzjonijiet offline. Il-metoduimport_from_explorermill-verżjoni preċedenti ma jeżistix aktar. Sorsi: Datasets · Explore traces.
L-aħħar rabta fiċ-ċiklu tal-iterazzjoni
Dataset huwa l-ġabra ta’ każijiet ta’ test li jmexxu evalwazzjoni offline. Dan jagħti lill-proċess tal-kwalità tiegħek il-memorja: kull inċident osservat fil-produzzjoni jista’ jsir każ ta’ test, u kull verżjoni ġdida tal-applikazzjoni titkejjel kontrih. Mingħajr dataset stabbli, qed tqabbel impressjonijiet; bih, qed tqabbel numri.
Struttura tar-rekord
Fl-Istudio, kull rekord fih payload—oġġett JSON fejn tiddefinixxi ċ-ċwievet—u properties, li huma metadata li ma jgħaddux għall-kompitu evalwat. Matul evalwazzjoni, il-payload isir ir-rekord tal-input eżattament kif inhu (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Din il-linja tirrappreżenta wkoll il-format ta’ importazzjoni JSONL għad-datasets tal-Istudio: oġġett wieħed kull linja, li fih payload u properties.
Sorsi tad-data
Tista’ timla dataset b’diversi modi:
- Dħul manwali, fl-Istudio jew permezz tal-API, rekord b’rekord
- Importazzjoni ta’ fajl JSONL bl-użu tal-format ta’ hawn fuq
- Mill-Explorer: span wieħed, jew sa 500 span magħżula, isiru rekords (Lezzjoni 12)
- Mill-Playground tal-Istudio jew minn dataset ieħor
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Oħloq id-dataset
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Żid rekords
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Għal volumi kbar, import_from_file jimporta fajl JSONL diġà mtella’ (bil-file_id tiegħu), u import_from_spans jidħol spans tat-traċċi: dawn l-importazzjonijiet jibda bħala kompiti fl-isfond, u tista’ ssegwi l-progress tagħhom b’fetch_task.
Reviżjoni u esportazzjoni
list_records jgħaddi mir-rekords paġna b’paġna (page_size, page), u export_to_jsonl jiġġenera esportazzjoni li r-rispons tagħha jipprovdi l-URL tat-tniżżil (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Evalwa fuq dataset tal-Istudio
Evalwazzjoni offline taqra dataset tal-Istudio permezz tas-slug jew l-ID tiegħu:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Hawnhekk, client huwa l-klijent tal-SDK tal-evalwazzjoni, u tache u exactitude huma definiti fil-Lezzjoni 14. Għaddi eżattament wieħed minn slug jew id; l-għażla ta’ dataset bis-slug tiegħu qatt ma toħloq wieħed ġdid. Żomm f’moħħok żewġ regoli: run jaqra r-rekords preżenti fil-bidu, sa 10,000—dataset mhuwiex snapshot, allura l-modifika tiegħu taffettwa biss runs sussegwenti—u jekk rekords jiżdiedu jew jitneħħew waqt il-qari, ir-run ifalli qabel ma jibda minflok ma jesegwixxi fuq sett inkonsistenti.
L-aħjar prattiki ta’ ġestjoni
Żomm sett ta’ referenza stabbli. Dataset li jinbidel ma’ kull run jagħmel il-konfront impossibbli. Oħloq sett ta’ referenza li timmodifikah biss b’mod deliberat, u żomm datasets tax-xogħol separati miegħu.
Imlih mid-data tal-produzzjoni. L-aktar każijiet utli huma dawk li kkawżaw problemi fil-fatt: span li tinduna bih fl-Explorer, fejn tikkoreġi l-output mistenni, jiswi aktar minn għaxar każijiet inventati.
Iddokumenta l-provenjenza. Il-properties (oriġini, data, inċident relatat) ma jarahomx il-kompitu, iżda se jgħidulek sitt xhur wara għaliex jeżisti każ partikolari.
Ibbilanċja d-data tiegħek. Dataset li fih biss każijiet faċli jfaħħar is-sistema tiegħek; wieħed li fih biss nases jiskoraġġiha. Ipprova tilħaq id-distribuzzjoni attwali tat-traffiku tiegħek, flimkien ma’ ftit każijiet limitu rikonoxxuti.
Punti Ewlenin
- Rekord ta’ dataset =
payload(input tal-kompitu) uproperties(metadata) - Dħul manwali, importazzjoni JSONL, spans tal-Explorer, Playground: sorsi multipli għal dataset wieħed
- L-SDK jesponi
create,create_record,import_from_file,import_from_spans,list_records, uexport_to_jsonl - L-evalwazzjonijiet jaqraw dataset permezz ta’
Dataset(slug=...)jewDataset(id=...), sa 10,000 rekord - Dataset mhuwiex snapshot: żomm sett ta’ referenza stabbli biex tqabbel il-verżjonijiet