Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Datasets: Rakenna arviointijoukkoja ja iteroi

Oppitunti 15 / 16 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Iteraatiokierron viimeinen lenkki
  2. Tietueen rakenne
  3. Tietolähteet
  4. Tarkistus ja vienti
  5. Arviointi Studio-datasetillä
  6. Hallinnan parhaat käytännöt
  7. Keskeiset asiat

Oppitunti kirjoitettu uudelleen 2. marraskuuta 2026 perustuen Mistralin Datasets-sivuun ja mistralai SDK:n versioon 3.7.0: tietue sisältää vapaamuotoisen payload-kentän ja properties-metatiedot; datasetit täytetään manuaalisella syötöllä, tiedostotuonnilla tai Explorerista haetuilla span-tietueilla, ja ne välitetään sellaisinaan offline-arviointeihin. Edellisestä versiosta tuttu import_from_explorer-metodi ei ole enää olemassa. Lähteet: Datasets · Explore traces.

Iteraatiokierron viimeinen lenkki

Datasetti on testitapausten kokoelma, joka ohjaa offline-arviointia. Se antaa laadunhallintaprosessillesi muistin: jokainen tuotannossa havaittu incidentti voidaan muuntaa testitapaukseksi, ja sovelluksen jokaista uutta versiota mitataan sitä vasten. Ilman vakaata datasettiä vertaat vain vaikutelmia; sen kanssa vertaat lukuja.

Tietueen rakenne

Studiossa jokainen tietue sisältää payloadin – JSON-objektin, jossa määrittelet avaimet – sekä properties-tiedot, jotka ovat metadataa eivätkä välity arvioitavalle tehtävälle. Arvioinnin aikana payloadista tulee syötetietue täsmälleen sellaisenaan (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Tämä rivi edustaa myös Studioiden datasettien JSONL-tuontimuotoa: yksi objekti riviä kohti, sisältäen payload- ja properties-kentät.

Tietolähteet

Voit täyttää datasetin useilla tavoilla:

  • Manuaalinen syöttö Studiossa tai API:n kautta, tietue kerrallaan
  • JSONL-tiedoston tuonti yllä olevaa muotoa käyttäen
  • Explorerista: yksittäinen span tai jopa 500 valittua span-tietuetta muuttuu tietueiksi (oppitunti 12)
  • Studio Playgroundsta tai toisesta datasetistä
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Luo datasetti
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Lisää tietueita
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Suurille tietomäärille import_from_file tuo jo ladatun JSONL-tiedoston (sen file_id:n perusteella), ja import_from_spans ingestoi trace-spaneja: nämä tuinnot suoritetaan taustatehtävinä, ja voit seurata niiden edistymistä metodilla fetch_task.

Tarkistus ja vienti

list_records iteroi tietueita sivu kerrallaan (page_size, page), ja export_to_jsonl generoi viennin, jonka vastaus sisältää latausosoitteen (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Arviointi Studio-datasetillä

Offline-arviointi lukee Studio-datasetin sen slugin tai ID:n perusteella:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Tässä client on arviointi-SDK:n asiakasohjelma, ja tache sekä exactitude on määritelty oppitunnissa 14. Välitä tarkalleen yksi arvoista: slug tai id; datasetin valitseminen slugilla ei koskaan luo uutta datasettiä. Pidä mielessäsi kaksi sääntöä: ajo lukee käynnistyshetkellä olevat tietueet (enintään 10 000) – datasetti ei ole tilannekuva, joten sen muokkaaminen vaikuttaa vain myöhempiin ajoihin – ja jos tietueita lisätään tai poistetaan lukemisen aikana, ajo epäonnistuu ennen käynnistymistä sen sijaan, että se suoritettaisiin epäjohdonmukaisella joukolla.

Hallinnan parhaat käytännöt

Pidä yllä vakaata vertailujoukkoa. Datasetti, joka muuttuu jokaisella ajolla, tekee vertailun mahdottomaksi. Luo vertailujoukko, jota muokkaat vain harkitusti, ja ylläpidä sen rinnalla erillisiä työdasettejä.

Syötä dataa tuotannosta. Hyödyllisimmät tapaukset ovat niitä, jotka todella aiheuttivat ongelmia: Explorerista löydetty span, jossa korjaat odotetun tulosteen, on arvokkaampi kuin kymmenen keksittyä tapausta.

Dokumentoi alkuperä. properties-tiedot (alkuperä, päivämäärä, liittyvä incidentti) eivät näy tehtävälle, mutta ne kertovat sinulle kuuden kuukauden päästä, miksi tietty tapaus on olemassa.

Tasapainota dataasi. Datasetti, joka sisältää vain helppoja tapauksia, imartelee järjestelmääsi; datasetti, joka sisältää vain ansa-kysymyksiä, lannistaa sitä. Pyri vastaamaan liikenteesi todellista jakaumaa plus käsin valittuja reunatapauksia.

Keskeiset asiat

  • Datasetin tietue = payload (tehtävän syöte) ja properties (metadata)
  • Manuaalinen syöttö, JSONL-tuonti, Explorer-spanit, Playground: useita lähteitä yhdelle datasetille
  • SDK tarjoaa metodit create, create_record, import_from_file, import_from_spans, list_records ja export_to_jsonl
  • Arvioinnit lukevat datasetin käyttäen Dataset(slug=...) tai Dataset(id=...), enintään 10 000 tietuetta
  • Datasetti ei ole tilannekuva: pidä yllä vakaata vertailujoukko versioiden vertailua varten