Andmestikud: hindamiskomplektide koostamine ja iteratsioon
Sellel lehel
Õppetund kirjutati ümber 2. novembril 2026, tuginedes Mistrali Datasets lehele ja
mistralaiSDK versioonile 3.7.0: kirje sisaldab vabas vorminguspayloadjaproperties; andmestikud täidetakse käsitsi sisestamise, faili importimise või Exploreri span-ide kaudu ning edastatakse muutumatul kujul võrguühenduseta hindamistele. Eelmises versioonis olnud meetodimport_from_explorerenam ei eksisteeri. Allikad: Datasets · Explore traces.
Iteratsioonitsükli viimane lüli
Andmestik on testjuhtumite kogum, mis juhib võrguühenduseta hindamist. See annab sinu kvaliteediprotsessile mälu: iga tootmises täheldatud intsident võib muutuda testjuhtumiks ja iga uus rakenduse versioon mõõdetakse selle vastu. Ilma stabiilse andmestikuta võrdled muljeid; sellega võrdled numbreid.
Kirje struktuur
Studios sisaldab iga kirje payload’i – JSON-objekti, kus määratled võtmed – ja properties, mis on metaandmed, mida hinnatavale ülesandele ei edastata. Hindamise ajal muutub payload sisendkirjeks täpselt sellisena, nagu see on (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
See rida tähistab ka Studio andmestike JSONL-importimise formaati: üks objekt rea kohta, mis sisaldab payload ja properties.
Andmeallikad
Andmestiku saad täita mitmel viisil:
- Käsitsi sisestamine Studios või API kaudu, kirje haaval
- JSONL-faili importimine, kasutades ülaltoodud formaati
- Explorerist: üks span või kuni 500 valitud span-i muutuvad kirjeteks (Õppetund 12)
- Studio Playground’st või teisest andmestikust
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Loo andmestik
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Lisa kirjeid
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Suurte mahtude korral impordib import_from_file juba üles laaditud JSONL-faili (selle file_id järgi) ja import_from_spans neelab trace span-id: need impordid käivituvad taustaprotsessidena ja saad nende edenemist jälgida käsuga fetch_task.
Ülevaatus ja eksport
list_records iteratsioonib kirjeid lehe kaupa (page_size, page) ja export_to_jsonl genereerib ekspordi, mille vastus sisaldab allalaadimise URL-i (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Hindamine Studio andmestikul
Võrguühenduseta hindamine loeb Studio andmestiku selle slugi või ID järgi:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Siin on client hindamise SDK klient ning tache ja exactitude on defineeritud õppetunnis 14. Edasta täpselt üks kas slug või id; andmestiku valimine slugi järgi ei loo kunagi uut andmestikku. Pea meeles kaht reeglit: käivitamine loeb käivitamise hetkel olemasolevad kirjed (kuni 10 000) – andmestik ei ole hetktõmmis, seega mõjutab selle muutmine vaid järgmisi käivitusi – ja kui kirjeid lisatakse või eemaldatakse lugemise ajal, ebaõnnestub käivitamine enne algust, mitte ei tööta ebajärjekindlal hulgal.
Haldamise parimad tavad
Hoia stabiilset võrdluskomplekti. Andmestik, mis muutub iga käivitusega, muudab võrdlemise võimatuks. Loo võrdluskomplekt, mida muudad ainult tahtlikult, ja hoia selle kõrval eraldi tööandmestikud.
Toida seda tootmisandmetega. Kasulikumad juhtumid on need, mis tegelikult probleeme põhjustasid: Exploreris märgatud span, mille oodatud tulemuse parandad, on väärtuslikum kui kümme väljamõeldud juhtumit.
Dokumendi päritolu. properties (päritolu, kuupäev, seotud intsident) ei ole ülesandele nähtavad, kuid need annavad sulle kuue kuu pärast teada, miks konkreetne juhtum eksisteerib.
Tasakaalusta oma andmeid. Andmestik, mis sisaldab ainult lihtsaid juhtumeid, ilustab sinu süsteemi; ainult lõksudega andmestik heidutab seda. Püüa saavutada oma liikluse tegelik jaotus, lisades peotäie tunnustatud äärmuslikke juhtumeid.
Peamised punktid
- Andmestiku kirje =
payload(ülesande sisend) japroperties(metaandmed) - Käsitsi sisestamine, JSONL-import, Exploreri span-id, Playground: mitu allikat ühele andmestikule
- SDK pakub meetodeid
create,create_record,import_from_file,import_from_spans,list_recordsjaexport_to_jsonl - Hindamised loevad andmestiku kas
Dataset(slug=...)võiDataset(id=...)kaudu, kuni 10 000 kirjet - Andmestik ei ole hetktõmmis: hoia võrdlemiseks stabiilset võrdluskomplekti