Duomenų rinkiniai: kurkite vertinimo rinkinius ir kartokite
Šiame puslapyje
Pamoka perrašyta 2026 m. lapkričio 2 d. pagal „Mistral“ puslapį Datasets ir
mistralaiSDK 3.7.0 versiją: įrašą sudaro laisvos formospayloadirproperties; duomenų rinkiniai pildomi rankiniu būdu, importuojant failus arba naudojant „Explorer“ įvykius, ir perduodami tiesiai į neprisijungusius vertinimus. Ankstesnės versijos metodasimport_from_explorernebeegzistuoja. Šaltiniai: Datasets · Explore traces.
Paskutinė kartojimo ciklo grandis
Duomenų rinkinys – tai testų atvejų kolekcija, valdanti neprisijungusį vertinimą. Jis suteikia jūsų kokybės procesui atmintį: kiekvienas gamyboje pastebėtas incidentas gali tapti testu, o kiekviena nauja programos versija yra matuojama pagal jį. Be stabilaus duomenų rinkinio lyginate įspūdžius; turėdami rinkinį – lyginate skaičius.
Įrašo struktūra
„Studio“ aplinkoje kiekvieną įrašą sudaro payload – JSON objektas, kuriame apibrėžiate raktus, ir properties – metaduomenys, kurie nėra perduodami vertinamai užduočiai. Vertinimo metu payload tampa įvesties įrašu tiksliai tokia, kokia yra (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Ši eilutė taip pat atspindi JSONL importavimo formatą „Studio“ duomenų rinkiniams: vienas objektas vienai eilutei, turintis payload ir properties.
Duomenų šaltiniai
Duomenų rinkinį galite pildyti keliais būdais:
- Rankinis įvedimas „Studio“ aplinkoje arba per API, įrašas po įrašo
- JSONL failo importavimas naudojant aukščiau pateiktą formatą
- Iš „Explorer“: vienas įvykis arba iki 500 pasirinktų įvykių tampa įrašais (12 pamoka)
- Iš „Studio Playground“ arba iš kito duomenų rinkinio
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Sukurti duomenų rinkinį
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Pridėti įrašus
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Dideliems duomenų kiekiams import_from_file importuoja jau įkeltą JSONL failą (pagal jo file_id), o import_from_spans įtraukia sekimo įvykius: šie importai vykdomi kaip foninės užduotys, o jų eigą galite stebėti naudodami fetch_task.
Peržiūra ir eksportavimas
list_records iteruoja per įrašus puslapis po puslapio (page_size, page), o export_to_jsonl sugeneruoja eksportą, kurio atsakyme pateikiamas atsisiuntimo URL (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Vertinimas naudojant „Studio“ duomenų rinkinį
Neprisijungęs vertinimas nuskaito „Studio“ duomenų rinkinį pagal jo slug arba ID:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Čia client yra vertinimo SDK klientas, o tache ir exactitude apibrėžti 14 pamokoje. Perdavimui naudokite tik vieną iš parametrų: slug arba id; duomenų rinkinio pasirinkimas pagal slug niekada nesukuria naujo rinkinio. Įsiminkite dvi taisykles: vykdymas nuskaito paleidimo metu esančius įrašus (iki 10 000) – duomenų rinkinys nėra momentinė kopija, todėl jo keitimas paveikia tik vėlesnius vykdymus; jei įrašai pridedami arba šalinami skaitymo metu, vykdymas nepavyksta dar prieš prasidedant, užuot vykdžius nesuderintą rinkinį.
Valdymo geriausios praktikos
Išlaikykite stabilų etaloninį rinkinį. Duomenų rinkinys, kuris keičiasi su kiekvienu vykdymu, neleidžia atlikti palyginimų. Sukurkite etaloninį rinkinį, kurį keisite tik sąmoningai, ir šalia jo tvarkykite atskirus darbinius rinkinius.
Papildykite jį duomenimis iš gamybos. Naudingiausi yra tie atvejai, kurie realiai sukėlė problemų: „Explorer“ pastebėtas įvykis, kuriame pataisote tikėtiną rezultatą, vertingesnis nei dešimt sugalvotų atvejų.
Dokumentuokite kilmę. properties (kilmė, data, susijęs incidentas) užduotis nemato, tačiau jie po šešių mėnesių jums pasakys, kodėl toks atvejis egzistuoja.
Subalansuokite duomenis. Duomenų rinkinys, kuriame yra tik lengvi atvejai, gerina jūsų sistemos rodiklius; rinkinys, kuriame tik spąstai – ją demoralizuoja. Siekite tikrosios jūsų srauto distribucijos, pridėdami keletą žinomų kraštutinių atvejų.
Svarbiausi punktai
- Duomenų rinkinio įrašas =
payload(užduoties įvestis) irproperties(metaduomenys) - Rankinis įvedimas, JSONL importas, „Explorer“ įvykiai, „Playground“: keli šaltiniai vienam duomenų rinkiniui
- SDK pateikia metodus
create,create_record,import_from_file,import_from_spans,list_recordsirexport_to_jsonl - Vertinimai nuskaito duomenų rinkinį naudodami
Dataset(slug=...)arbaDataset(id=...), iki 10 000 įrašų - Duomenų rinkinys nėra momentinė kopija: turėkite stabilų etaloninį rinkinį versijų palyginimui