Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Nabori podatkov: izgradnja evalvacijskih nizov in iteracije

Lekcija 15 od 16 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Zadnja povezava v zanki iteracij
  2. Struktura zapisa
  3. Viri podatkov
  4. Pregled in izvoz
  5. Ocenjevanje na naboru podatkov Studio
  6. Najboljše prakse upravljanja
  7. Ključne ugotovitve

Lekcija je bila ponovno napisana 2. novembra 2026 na podlagi strani Mistral Datasets in SDK mistralai 3.7.0: zapis vsebuje poljubno vsebino payload in properties; nabori podatkov se polnijo z ročnim vnosom, uvozom datotek ali razponi (spans) iz raziskovalca (Explorer) in se takšni, kot so, posredujejo v ocene brez povezave (offline). Metoda import_from_explorer iz prejšnje različice ne obstaja več. Viri: Datasets · Explore traces.

Zadnja povezava v zanki iteracij

Nabor podatkov je zbirka testnih primerov, ki poganja oceno brez povezave (offline evaluation). Tvojemu procesu zagotavljanja kakovosti daje spomin: vsak incident, opažen v proizvodnem okolju, lahko postane testni primer, vsaka nova različica aplikacije pa se meri glede na njega. Brez stabilnega nabora podatkov primerjaš vtise; z njim primerjaš številke.

Struktura zapisa

V Studiu vsak zapis vsebuje payload – objekt JSON, kjer določiš ključe – in properties, ki so metapodatki in se ne posredujejo ocenjevanemu opravilu. Med ocenjevanjem payload postane vhodni zapis točno tak, kot je (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Ta vrstica predstavlja tudi format uvoza JSONL za nabore podatkov v Studiu: en objekt na vrstico, ki vsebuje payload in properties.

Viri podatkov

Nabor podatkov lahko napolniš na več načinov:

  • Ročni vnos, v Studiu ali prek API-ja, zapis za zapisom
  • Uvoz datoteke JSONL z uporabo zgornjega formata
  • Iz raziskovalca (Explorer): en razpon (span) ali do 500 izbranih razponov postanejo zapisi (lekcija 12)
  • Iz igrišča Studio (Playground) ali iz drugega nabora podatkov
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Ustvari nabor podatkov
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Dodaj zapise
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Za velike količine import_from_file uvozi že naloženo datoteko JSONL (po njenem file_id), import_from_spans pa zaužije razpone sledi (trace spans): ti uvozi se izvajajo kot opravila v ozadju, njihov napredek pa lahko spremljaš z fetch_task.

Pregled in izvoz

list_records iterira skozi zapise stran za stranjo (page_size, page), export_to_jsonl pa ustvari izvoz, katerega odgovor vsebuje URL za prenos (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Ocenjevanje na naboru podatkov Studio

Ocena brez povezave prebere nabor podatkov Studio po njegovem slugu ali ID-ju:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Tukaj je client odjemalec SDK za ocenjevanje, tache in exactitude pa sta definirana v lekciji 14. Posreduj točno enega od slug ali id; izbira nabora podatkov po njegovem slugu nikoli ne ustvari novega. Imej v mislih dve pravili: zagon prebere zapise, prisotne ob zagonu, do 10.000 – nabor podatkov ni posnetek stanja, zato spremembe vplivajo le na poznejše zagonе – in če se zapisi med branjem dodajo ali odstranijo, zagon odpove pred začetkom, namesto da bi se izvajal na nedoslednem nizu.

Najboljše prakse upravljanja

Ohrani stabilen referenčni niz. Nabor podatkov, ki se spreminja z vsakim zagonom, onemogoča primerjavo. Ustvari referenčni niz, ki ga spreminjaš le namerno, in ob njem vzdržuj ločene delovne nabore podatkov.

Napajaj ga iz proizvodnega okolja. Najkoristnejši primeri so tisti, ki so dejansko povzročili težave: razpon, opažen v raziskovalcu, kjer popraviš pričakovani izhod, je vreden več kot deset izmišljenih primerov.

Dokumentiraj izvor. properties (izvor, datum, povezani incident) opravilo ne vidi, a ti bodo čez šest mesecev povedali, zakaj primer obstaja.

Uravnoteži svoje podatke. Nabor podatkov, ki vsebuje le lahke primere, laska tvojemu sistemu; tisti, ki vsebuje le pasti, ga odvrača. Ciljaj na dejansko porazdelitev tvoje prometa, plus nekaj priznanih robnih primerov.

Ključne ugotovitve

  • Zapis v naboru podatkov = payload (vhod opravila) in properties (metapodatki)
  • Ročni vnos, uvoz JSONL, razponi iz raziskovalca, Playground: več virov za en sam nabor podatkov
  • SDK omogoča create, create_record, import_from_file, import_from_spans, list_records in export_to_jsonl
  • Ocene berejo nabor podatkov prek Dataset(slug=...) ali Dataset(id=...), do 10.000 zapisov
  • Nabor podatkov ni posnetek stanja: ohrani stabilen referenčni niz za primerjavo različic