Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Andmestikud: hindamiskomplektide koostamine ja iteratsioon

Õppetund 15 / 16 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Iteratsioonitsükli viimane lüli
  2. Kirje struktuur
  3. Andmeallikad
  4. Ülevaatus ja eksport
  5. Hindamine Studio andmestikul
  6. Haldamise parimad tavad
  7. Peamised punktid

Õppetund kirjutati ümber 2. novembril 2026, tuginedes Mistrali Datasets lehele ja mistralai SDK versioonile 3.7.0: kirje sisaldab vabas vormingus payload ja properties; andmestikud täidetakse käsitsi sisestamise, faili importimise või Exploreri span-ide kaudu ning edastatakse muutumatul kujul võrguühenduseta hindamistele. Eelmises versioonis olnud meetod import_from_explorer enam ei eksisteeri. Allikad: Datasets · Explore traces.

Iteratsioonitsükli viimane lüli

Andmestik on testjuhtumite kogum, mis juhib võrguühenduseta hindamist. See annab sinu kvaliteediprotsessile mälu: iga tootmises täheldatud intsident võib muutuda testjuhtumiks ja iga uus rakenduse versioon mõõdetakse selle vastu. Ilma stabiilse andmestikuta võrdled muljeid; sellega võrdled numbreid.

Kirje struktuur

Studios sisaldab iga kirje payload’i – JSON-objekti, kus määratled võtmed – ja properties, mis on metaandmed, mida hinnatavale ülesandele ei edastata. Hindamise ajal muutub payload sisendkirjeks täpselt sellisena, nagu see on (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

See rida tähistab ka Studio andmestike JSONL-importimise formaati: üks objekt rea kohta, mis sisaldab payload ja properties.

Andmeallikad

Andmestiku saad täita mitmel viisil:

  • Käsitsi sisestamine Studios või API kaudu, kirje haaval
  • JSONL-faili importimine, kasutades ülaltoodud formaati
  • Explorerist: üks span või kuni 500 valitud span-i muutuvad kirjeteks (Õppetund 12)
  • Studio Playground’st või teisest andmestikust
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Loo andmestik
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Lisa kirjeid
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Suurte mahtude korral impordib import_from_file juba üles laaditud JSONL-faili (selle file_id järgi) ja import_from_spans neelab trace span-id: need impordid käivituvad taustaprotsessidena ja saad nende edenemist jälgida käsuga fetch_task.

Ülevaatus ja eksport

list_records iteratsioonib kirjeid lehe kaupa (page_size, page) ja export_to_jsonl genereerib ekspordi, mille vastus sisaldab allalaadimise URL-i (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Hindamine Studio andmestikul

Võrguühenduseta hindamine loeb Studio andmestiku selle slugi või ID järgi:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Siin on client hindamise SDK klient ning tache ja exactitude on defineeritud õppetunnis 14. Edasta täpselt üks kas slug või id; andmestiku valimine slugi järgi ei loo kunagi uut andmestikku. Pea meeles kaht reeglit: käivitamine loeb käivitamise hetkel olemasolevad kirjed (kuni 10 000) – andmestik ei ole hetktõmmis, seega mõjutab selle muutmine vaid järgmisi käivitusi – ja kui kirjeid lisatakse või eemaldatakse lugemise ajal, ebaõnnestub käivitamine enne algust, mitte ei tööta ebajärjekindlal hulgal.

Haldamise parimad tavad

Hoia stabiilset võrdluskomplekti. Andmestik, mis muutub iga käivitusega, muudab võrdlemise võimatuks. Loo võrdluskomplekt, mida muudad ainult tahtlikult, ja hoia selle kõrval eraldi tööandmestikud.

Toida seda tootmisandmetega. Kasulikumad juhtumid on need, mis tegelikult probleeme põhjustasid: Exploreris märgatud span, mille oodatud tulemuse parandad, on väärtuslikum kui kümme väljamõeldud juhtumit.

Dokumendi päritolu. properties (päritolu, kuupäev, seotud intsident) ei ole ülesandele nähtavad, kuid need annavad sulle kuue kuu pärast teada, miks konkreetne juhtum eksisteerib.

Tasakaalusta oma andmeid. Andmestik, mis sisaldab ainult lihtsaid juhtumeid, ilustab sinu süsteemi; ainult lõksudega andmestik heidutab seda. Püüa saavutada oma liikluse tegelik jaotus, lisades peotäie tunnustatud äärmuslikke juhtumeid.

Peamised punktid

  • Andmestiku kirje = payload (ülesande sisend) ja properties (metaandmed)
  • Käsitsi sisestamine, JSONL-import, Exploreri span-id, Playground: mitu allikat ühele andmestikule
  • SDK pakub meetodeid create, create_record, import_from_file, import_from_spans, list_records ja export_to_jsonl
  • Hindamised loevad andmestiku kas Dataset(slug=...) või Dataset(id=...) kaudu, kuni 10 000 kirjet
  • Andmestik ei ole hetktõmmis: hoia võrdlemiseks stabiilset võrdluskomplekti