Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Datasets: Ibni settijiet ta' evalwazzjoni u itera

Lezzjoni 15 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. L-aħħar rabta fiċ-ċiklu tal-iterazzjoni
  2. Struttura tar-rekord
  3. Sorsi tad-data
  4. Reviżjoni u esportazzjoni
  5. Evalwa fuq dataset tal-Istudio
  6. L-aħjar prattiki ta’ ġestjoni
  7. Punti Ewlenin

Lezzjon miktuba mill-ġdid fit-2 ta’ Novembru 2026 abbażi tal-paġna Datasets ta’ Mistral u l-SDK mistralai 3.7.0: rekord fih payload b’forma ħielsa u properties; id-datasets jimtlew permezz ta’ dħul manwali, importazzjoni ta’ fajl, jew spans mill-Explorer, u jgħaddu kif inhu għall-evalwazzjonijiet offline. Il-metodu import_from_explorer mill-verżjoni preċedenti ma jeżistix aktar. Sorsi: Datasets · Explore traces.

L-aħħar rabta fiċ-ċiklu tal-iterazzjoni

Dataset huwa l-ġabra ta’ każijiet ta’ test li jmexxu evalwazzjoni offline. Dan jagħti lill-proċess tal-kwalità tiegħek il-memorja: kull inċident osservat fil-produzzjoni jista’ jsir każ ta’ test, u kull verżjoni ġdida tal-applikazzjoni titkejjel kontrih. Mingħajr dataset stabbli, qed tqabbel impressjonijiet; bih, qed tqabbel numri.

Struttura tar-rekord

Fl-Istudio, kull rekord fih payload—oġġett JSON fejn tiddefinixxi ċ-ċwievet—u properties, li huma metadata li ma jgħaddux għall-kompitu evalwat. Matul evalwazzjoni, il-payload isir ir-rekord tal-input eżattament kif inhu (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Din il-linja tirrappreżenta wkoll il-format ta’ importazzjoni JSONL għad-datasets tal-Istudio: oġġett wieħed kull linja, li fih payload u properties.

Sorsi tad-data

Tista’ timla dataset b’diversi modi:

  • Dħul manwali, fl-Istudio jew permezz tal-API, rekord b’rekord
  • Importazzjoni ta’ fajl JSONL bl-użu tal-format ta’ hawn fuq
  • Mill-Explorer: span wieħed, jew sa 500 span magħżula, isiru rekords (Lezzjoni 12)
  • Mill-Playground tal-Istudio jew minn dataset ieħor
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Oħloq id-dataset
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Żid rekords
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Għal volumi kbar, import_from_file jimporta fajl JSONL diġà mtella’ (bil-file_id tiegħu), u import_from_spans jidħol spans tat-traċċi: dawn l-importazzjonijiet jibda bħala kompiti fl-isfond, u tista’ ssegwi l-progress tagħhom b’fetch_task.

Reviżjoni u esportazzjoni

list_records jgħaddi mir-rekords paġna b’paġna (page_size, page), u export_to_jsonl jiġġenera esportazzjoni li r-rispons tagħha jipprovdi l-URL tat-tniżżil (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Evalwa fuq dataset tal-Istudio

Evalwazzjoni offline taqra dataset tal-Istudio permezz tas-slug jew l-ID tiegħu:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Hawnhekk, client huwa l-klijent tal-SDK tal-evalwazzjoni, u tache u exactitude huma definiti fil-Lezzjoni 14. Għaddi eżattament wieħed minn slug jew id; l-għażla ta’ dataset bis-slug tiegħu qatt ma toħloq wieħed ġdid. Żomm f’moħħok żewġ regoli: run jaqra r-rekords preżenti fil-bidu, sa 10,000—dataset mhuwiex snapshot, allura l-modifika tiegħu taffettwa biss runs sussegwenti—u jekk rekords jiżdiedu jew jitneħħew waqt il-qari, ir-run ifalli qabel ma jibda minflok ma jesegwixxi fuq sett inkonsistenti.

L-aħjar prattiki ta’ ġestjoni

Żomm sett ta’ referenza stabbli. Dataset li jinbidel ma’ kull run jagħmel il-konfront impossibbli. Oħloq sett ta’ referenza li timmodifikah biss b’mod deliberat, u żomm datasets tax-xogħol separati miegħu.

Imlih mid-data tal-produzzjoni. L-aktar każijiet utli huma dawk li kkawżaw problemi fil-fatt: span li tinduna bih fl-Explorer, fejn tikkoreġi l-output mistenni, jiswi aktar minn għaxar każijiet inventati.

Iddokumenta l-provenjenza. Il-properties (oriġini, data, inċident relatat) ma jarahomx il-kompitu, iżda se jgħidulek sitt xhur wara għaliex jeżisti każ partikolari.

Ibbilanċja d-data tiegħek. Dataset li fih biss każijiet faċli jfaħħar is-sistema tiegħek; wieħed li fih biss nases jiskoraġġiha. Ipprova tilħaq id-distribuzzjoni attwali tat-traffiku tiegħek, flimkien ma’ ftit każijiet limitu rikonoxxuti.

Punti Ewlenin

  • Rekord ta’ dataset = payload (input tal-kompitu) u properties (metadata)
  • Dħul manwali, importazzjoni JSONL, spans tal-Explorer, Playground: sorsi multipli għal dataset wieħed
  • L-SDK jesponi create, create_record, import_from_file, import_from_spans, list_records, u export_to_jsonl
  • L-evalwazzjonijiet jaqraw dataset permezz ta’ Dataset(slug=...) jew Dataset(id=...), sa 10,000 rekord
  • Dataset mhuwiex snapshot: żomm sett ta’ referenza stabbli biex tqabbel il-verżjonijiet