Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Skupovi podataka: Izrada skupova za evaluaciju i iteracija

Lekcija 15 od 16 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Posljednja karika u petlji iteracije
  2. Struktura zapisa
  3. Izvori podataka
  4. Pregled i izvoz
  5. Evaluacija na skupu podataka u Studiju
  6. Najbolje prakse upravljanja
  7. Ključne točke

Lekcija je ponovno napisana 2. studenoga 2026. na temelju stranice Mistral Datasets i SDK-a mistralai verzije 3.7.0: zapis sadrži payload slobodnog formata i properties; skupovi podataka popunjavaju se ručnim unosom, uvozom datoteka ili rasponima (spans) iz Explorera te se prosljeđuju nepromijenjeni u izvanmrežne evaluacije. Metoda import_from_explorer iz prethodne verzije više ne postoji. Izvori: Datasets · Explore traces.

Posljednja karika u petlji iteracije

Skup podataka (dataset) jest kolekcija testnih slučajeva koja pokreće izvanmrežnu evaluaciju. On tvom procesu kontrole kvalitete daje memoriju: svaki incident uočen u produkciji može postati testni slučaj, a svaka nova verzija aplikacije mjeri se protiv njega. Bez stabilnog skupa podataka uspoređuješ dojmove; s njim uspoređuješ brojeve.

Struktura zapisa

U Studiju svaki zapis sadrži payload – JSON objekt u kojem definiraš ključeve – i properties, koji su metapodaci koji se ne prosljeđuju evaluiranom zadatku. Tijekom evaluacije payload postaje ulazni zapis točno onakav kakav jest (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Ovaj redak također predstavlja format za uvoz JSONL-a za skupove podataka u Studiju: jedan objekt po retku koji sadrži payload i properties.

Izvori podataka

Skup podataka možeš popuniti na nekoliko načina:

  • Ručni unos, u Studiju ili putem API-ja, zapis po zapis
  • Uvoz JSONL datoteke koristeći gornji format
  • Iz Explorera: jedan raspon (span) ili do 500 odabranih raspona postaju zapisi (Lekcija 12)
  • Iz Studio Playgrounda ili iz drugog skupa podataka
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Create the dataset
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Add records
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Za velike količine podataka, import_from_file uvozi već učitanu JSONL datoteku (prema njezinom file_id), a import_from_spans unosi raspone tragova (trace spans): ti se uvozi izvršavaju kao pozadinski zadaci, a njihov napredak možeš pratiti pomoću fetch_task.

Pregled i izvoz

list_records iterira kroz zapise stranica po stranicu (page_size, page), a export_to_jsonl generira izvoz čiji odgovor pruža URL za preuzimanje (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Evaluacija na skupu podataka u Studiju

Izvanmrežna evaluacija čita skup podataka iz Studija prema njegovom slugu ili ID-u:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Ovdje je client klijent SDK-a za evaluaciju, a tache i exactitude definirani su u Lekciji 14. Proslijedi točno jedan od parametara: slug ili id; odabir skupa podataka prema slugu nikada ne stvara novi. Imaj na umu dva pravila: pokretanje (run) čita zapise prisutne pri pokretanju, do 10.000 – skup podataka nije snimka (snapshot), pa njegovo modificiranje utječe samo na naknadna pokretanja – i ako se zapisi dodaju ili uklone tijekom čitanja, pokretanje ne uspijeva prije početka umjesto da se izvršava na nedosljednom skupu.

Najbolje prakse upravljanja

Zadrži stabilan referentni skup. Skup podataka koji se mijenja sa svakim pokretanjem onemogućuje usporedbu. Stvori referentni skup koji mijenjaš samo namjerno, a uz njega održavaj odvojene radne skupove podataka.

Napuni ga podacima iz produkcije. Najkorisniji slučajevi su oni koji su stvarno uzrokovali probleme: raspon (span) uočen u Exploreru, gdje ispraviš očekivani izlaz, vrijedi više od deset izmišljenih slučajeva.

Dokumentiraj podrijetlo. properties (podrijetlo, datum, povezani incident) zadatak ne vidi, ali će ti za šest mjeseci reći zašto određeni slučaj postoji.

Uravnoteži svoje podatke. Skup podataka koji sadrži samo lake slučajeve uljepšava tvoj sustav; onaj koji sadrži samo zamke obeshrabruje ga. Ciljaj na stvarnu distribuciju tvog prometa, uz pregršt priznatih rubnih slučajeva.

Ključne točke

  • Zapis skupa podataka = payload (ulaz zadatka) i properties (metapodaci)
  • Ručni unos, uvoz JSONL-a, rasponi iz Explorera, Playground: više izvora za jedan skup podataka
  • SDK izlaže create, create_record, import_from_file, import_from_spans, list_records i export_to_jsonl
  • Evaluacije čitaju skup podataka putem Dataset(slug=...) ili Dataset(id=...), do 10.000 zapisa
  • Skup podataka nije snimka: zadrži stabilan referentni skup za usporedbu verzija