Skupovi podataka: Izrada skupova za evaluaciju i iteracija
Na ovoj stranici
Lekcija je ponovno napisana 2. studenoga 2026. na temelju stranice Mistral Datasets i SDK-a
mistralaiverzije 3.7.0: zapis sadržipayloadslobodnog formata iproperties; skupovi podataka popunjavaju se ručnim unosom, uvozom datoteka ili rasponima (spans) iz Explorera te se prosljeđuju nepromijenjeni u izvanmrežne evaluacije. Metodaimport_from_exploreriz prethodne verzije više ne postoji. Izvori: Datasets · Explore traces.
Posljednja karika u petlji iteracije
Skup podataka (dataset) jest kolekcija testnih slučajeva koja pokreće izvanmrežnu evaluaciju. On tvom procesu kontrole kvalitete daje memoriju: svaki incident uočen u produkciji može postati testni slučaj, a svaka nova verzija aplikacije mjeri se protiv njega. Bez stabilnog skupa podataka uspoređuješ dojmove; s njim uspoređuješ brojeve.
Struktura zapisa
U Studiju svaki zapis sadrži payload – JSON objekt u kojem definiraš ključeve – i properties, koji su metapodaci koji se ne prosljeđuju evaluiranom zadatku. Tijekom evaluacije payload postaje ulazni zapis točno onakav kakav jest (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Ovaj redak također predstavlja format za uvoz JSONL-a za skupove podataka u Studiju: jedan objekt po retku koji sadrži payload i properties.
Izvori podataka
Skup podataka možeš popuniti na nekoliko načina:
- Ručni unos, u Studiju ili putem API-ja, zapis po zapis
- Uvoz JSONL datoteke koristeći gornji format
- Iz Explorera: jedan raspon (span) ili do 500 odabranih raspona postaju zapisi (Lekcija 12)
- Iz Studio Playgrounda ili iz drugog skupa podataka
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Create the dataset
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Add records
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Za velike količine podataka, import_from_file uvozi već učitanu JSONL datoteku (prema njezinom file_id), a import_from_spans unosi raspone tragova (trace spans): ti se uvozi izvršavaju kao pozadinski zadaci, a njihov napredak možeš pratiti pomoću fetch_task.
Pregled i izvoz
list_records iterira kroz zapise stranica po stranicu (page_size, page), a export_to_jsonl generira izvoz čiji odgovor pruža URL za preuzimanje (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Evaluacija na skupu podataka u Studiju
Izvanmrežna evaluacija čita skup podataka iz Studija prema njegovom slugu ili ID-u:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Ovdje je client klijent SDK-a za evaluaciju, a tache i exactitude definirani su u Lekciji 14. Proslijedi točno jedan od parametara: slug ili id; odabir skupa podataka prema slugu nikada ne stvara novi. Imaj na umu dva pravila: pokretanje (run) čita zapise prisutne pri pokretanju, do 10.000 – skup podataka nije snimka (snapshot), pa njegovo modificiranje utječe samo na naknadna pokretanja – i ako se zapisi dodaju ili uklone tijekom čitanja, pokretanje ne uspijeva prije početka umjesto da se izvršava na nedosljednom skupu.
Najbolje prakse upravljanja
Zadrži stabilan referentni skup. Skup podataka koji se mijenja sa svakim pokretanjem onemogućuje usporedbu. Stvori referentni skup koji mijenjaš samo namjerno, a uz njega održavaj odvojene radne skupove podataka.
Napuni ga podacima iz produkcije. Najkorisniji slučajevi su oni koji su stvarno uzrokovali probleme: raspon (span) uočen u Exploreru, gdje ispraviš očekivani izlaz, vrijedi više od deset izmišljenih slučajeva.
Dokumentiraj podrijetlo. properties (podrijetlo, datum, povezani incident) zadatak ne vidi, ali će ti za šest mjeseci reći zašto određeni slučaj postoji.
Uravnoteži svoje podatke. Skup podataka koji sadrži samo lake slučajeve uljepšava tvoj sustav; onaj koji sadrži samo zamke obeshrabruje ga. Ciljaj na stvarnu distribuciju tvog prometa, uz pregršt priznatih rubnih slučajeva.
Ključne točke
- Zapis skupa podataka =
payload(ulaz zadatka) iproperties(metapodaci) - Ručni unos, uvoz JSONL-a, rasponi iz Explorera, Playground: više izvora za jedan skup podataka
- SDK izlaže
create,create_record,import_from_file,import_from_spans,list_recordsiexport_to_jsonl - Evaluacije čitaju skup podataka putem
Dataset(slug=...)iliDataset(id=...), do 10.000 zapisa - Skup podataka nije snimka: zadrži stabilan referentni skup za usporedbu verzija