Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Datu kopas: izveido novērtēšanas kopas un iterē

Nodarbība 15 no 16 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Iterācijas cikla noslēdzošais posms
  2. Ieraksta struktūra
  3. Datu avoti
  4. Pārskatīšana un eksportēšana
  5. Novērtēšana, izmantojot Studio datu kopu
  6. Vadības labākā prakse
  7. Galvenās atziņas

Nodarbība pārrakstīta 2026. gada 2. novembrī, balstoties uz Mistral Datasets lapu un mistralai SDK 3.7.0: ieraksts satur brīvas formas payload un properties; datu kopas tiek aizpildītas, manuāli ievadot datus, importējot failus vai izmantojot pēdas no Explorer, un tās tiek nodotas tiešsaistes novērtējumiem nemainītā veidā. Iepriekšējās versijas metode import_from_explorer vairs nepastāv. Avoti: Datasets · Explore traces.

Iterācijas cikla noslēdzošais posms

Datu kopa ir testu gadījumu krājums, kas virza tiešsaistes novērtēšanu. Tā piešķir tavam kvalitātes procesam atmiņu: katrs ražošanā novērots incidents var kļūt par testu gadījumu, un katra jauna lietotnes versija tiek mērīta pret to. Bez stabilas datu kopas tu salīdzini iespaidus; ar to tu salīdzini skaitļus.

Ieraksta struktūra

Studio vidē katrs ieraksts satur payload — JSON objektu, kurā tu definē atslēgas, un properties, kas ir metadati, netiekot nodoti novērtējamajam uzdevumam. Novērtēšanas laikā payload kļūst par ievades ierakstu tieši tāds, kāds tas ir (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Šī rinda arī attēlo JSONL importa formātu Studio datu kopām: viens objekts rindā, kas satur payload un properties.

Datu avoti

Datu kopu vari aizpildīt vairākos veidos:

  • Manuāla ievade Studio vidē vai caur API, ierakstu pa ierakstam
  • JSONL faila imports, izmantojot iepriekš minēto formātu
  • No Explorer: viena pēda vai līdz 500 atlasītām pēdām kļūst par ierakstiem (12. nodarbība)
  • No Studio Playground vai no citas datu kopas
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Izveido datu kopu
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Pievieno ierakstus
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Lieliem apjomiem import_from_file importē jau augšupielādētu JSONL failu (pēc tā file_id), bet import_from_spans ielasa pēdu fragmentus: šie importi darbojas kā fona uzdevumi, un to progresu vari izsekot ar fetch_task.

Pārskatīšana un eksportēšana

list_records iterē cauri ierakstiem lapu pa lapai (page_size, page), bet export_to_jsonl ģenerē eksportu, kura atbilde nodrošina lejupielādes URL (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Novērtēšana, izmantojot Studio datu kopu

Tiešsaistes novērtējums nolasa Studio datu kopu pēc tās slug vai ID:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Šeit client ir novērtēšanas SDK klients, bet tache un exactitude ir definēti 14. nodarbībā. Nodod precīzi vienu no slug vai id; datu kopas atlase pēc tās slug nekad neizveido jaunu kopu. Paturi prātā divus noteikumus: izpilde nolasa ierakstus, kas pastāv starta brīdī, līdz 10 000 ierakstiem — datu kopa nav momentuzņēmums, tāpēc tās modificēšana ietekmē tikai turpmākās izpildes — un, ja ieraksti tiek pievienoti vai dzēsti lasīšanas laikā, izpilde neizdodas pirms sākuma, nevis tiek izpildīta uz nesakārtotas kopas.

Vadības labākā prakse

Uzturi stabilu atsauces kopu. Datu kopa, kas mainās ar katru izpildi, padara salīdzināšanu neiespējamu. Izveido atsauces kopu, ko modificē tikai apzināti, un līdzās tai uzturi atsevišķas darba datu kopas.

Papildini to ar datiem no ražošanas. Visnoderīgākie gadījumi ir tie, kas faktiski radījuši problēmas: Explorerā pamanīta pēda, kurā tu koriģē sagaidāmo izvadi, ir vērtīgāka par desmit izgudrotiem gadījumiem.

Dokumentē izcelsmi. properties (izcelsme, datums, saistīts incidents) uzdevums neredz, taču tie pēc sešiem mēnešiem tev pateiks, kāpēc konkrēts gadījums eksistē.

Līdzsvaro savus datus. Datu kopa, kas satur tikai vieglus gadījumus, liek sistēmai izskatīties labākai, nekā tā ir; kopa, kas satur tikai slazdus, to attur. Tiecies pēc faktiskās satiksmes sadalījuma, pieskaitot klāt dažus apzinātus robežgadījumus.

Galvenās atziņas

  • Datu kopas ieraksts = payload (uzdevuma ievade) un properties (metadati)
  • Manuāla ievade, JSONL imports, Explorer pēdas, Playground: vairāki avoti vienai datu kopai
  • SDK piedāvā create, create_record, import_from_file, import_from_spans, list_records un export_to_jsonl
  • Novērtējumi nolasa datu kopu, izmantojot Dataset(slug=...) vai Dataset(id=...), līdz 10 000 ierakstiem
  • Datu kopa nav momentuzņēmums: uzturi stabilu atsauces kopu, lai salīdzinātu versijas