Nabori podatkov: izgradnja evalvacijskih nizov in iteracije
Na tej strani
Lekcija je bila ponovno napisana 2. novembra 2026 na podlagi strani Mistral Datasets in SDK
mistralai3.7.0: zapis vsebuje poljubno vsebinopayloadinproperties; nabori podatkov se polnijo z ročnim vnosom, uvozom datotek ali razponi (spans) iz raziskovalca (Explorer) in se takšni, kot so, posredujejo v ocene brez povezave (offline). Metodaimport_from_exploreriz prejšnje različice ne obstaja več. Viri: Datasets · Explore traces.
Zadnja povezava v zanki iteracij
Nabor podatkov je zbirka testnih primerov, ki poganja oceno brez povezave (offline evaluation). Tvojemu procesu zagotavljanja kakovosti daje spomin: vsak incident, opažen v proizvodnem okolju, lahko postane testni primer, vsaka nova različica aplikacije pa se meri glede na njega. Brez stabilnega nabora podatkov primerjaš vtise; z njim primerjaš številke.
Struktura zapisa
V Studiu vsak zapis vsebuje payload – objekt JSON, kjer določiš ključe – in properties, ki so metapodatki in se ne posredujejo ocenjevanemu opravilu. Med ocenjevanjem payload postane vhodni zapis točno tak, kot je (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Ta vrstica predstavlja tudi format uvoza JSONL za nabore podatkov v Studiu: en objekt na vrstico, ki vsebuje payload in properties.
Viri podatkov
Nabor podatkov lahko napolniš na več načinov:
- Ročni vnos, v Studiu ali prek API-ja, zapis za zapisom
- Uvoz datoteke JSONL z uporabo zgornjega formata
- Iz raziskovalca (Explorer): en razpon (span) ali do 500 izbranih razponov postanejo zapisi (lekcija 12)
- Iz igrišča Studio (Playground) ali iz drugega nabora podatkov
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Ustvari nabor podatkov
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Dodaj zapise
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Za velike količine import_from_file uvozi že naloženo datoteko JSONL (po njenem file_id), import_from_spans pa zaužije razpone sledi (trace spans): ti uvozi se izvajajo kot opravila v ozadju, njihov napredek pa lahko spremljaš z fetch_task.
Pregled in izvoz
list_records iterira skozi zapise stran za stranjo (page_size, page), export_to_jsonl pa ustvari izvoz, katerega odgovor vsebuje URL za prenos (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Ocenjevanje na naboru podatkov Studio
Ocena brez povezave prebere nabor podatkov Studio po njegovem slugu ali ID-ju:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Tukaj je client odjemalec SDK za ocenjevanje, tache in exactitude pa sta definirana v lekciji 14. Posreduj točno enega od slug ali id; izbira nabora podatkov po njegovem slugu nikoli ne ustvari novega. Imej v mislih dve pravili: zagon prebere zapise, prisotne ob zagonu, do 10.000 – nabor podatkov ni posnetek stanja, zato spremembe vplivajo le na poznejše zagonе – in če se zapisi med branjem dodajo ali odstranijo, zagon odpove pred začetkom, namesto da bi se izvajal na nedoslednem nizu.
Najboljše prakse upravljanja
Ohrani stabilen referenčni niz. Nabor podatkov, ki se spreminja z vsakim zagonom, onemogoča primerjavo. Ustvari referenčni niz, ki ga spreminjaš le namerno, in ob njem vzdržuj ločene delovne nabore podatkov.
Napajaj ga iz proizvodnega okolja. Najkoristnejši primeri so tisti, ki so dejansko povzročili težave: razpon, opažen v raziskovalcu, kjer popraviš pričakovani izhod, je vreden več kot deset izmišljenih primerov.
Dokumentiraj izvor. properties (izvor, datum, povezani incident) opravilo ne vidi, a ti bodo čez šest mesecev povedali, zakaj primer obstaja.
Uravnoteži svoje podatke. Nabor podatkov, ki vsebuje le lahke primere, laska tvojemu sistemu; tisti, ki vsebuje le pasti, ga odvrača. Ciljaj na dejansko porazdelitev tvoje prometa, plus nekaj priznanih robnih primerov.
Ključne ugotovitve
- Zapis v naboru podatkov =
payload(vhod opravila) inproperties(metapodatki) - Ročni vnos, uvoz JSONL, razponi iz raziskovalca, Playground: več virov za en sam nabor podatkov
- SDK omogoča
create,create_record,import_from_file,import_from_spans,list_recordsinexport_to_jsonl - Ocene berejo nabor podatkov prek
Dataset(slug=...)aliDataset(id=...), do 10.000 zapisov - Nabor podatkov ni posnetek stanja: ohrani stabilen referenčni niz za primerjavo različic