Salt la conținutul principal
Română— Alege o limbă
Meniu

Dataseturi: Construirea seturilor de evaluare și iterarea

Lecția 15 din 16 Actualizată 2 noiembrie 2026 Avansat
Pe această pagină
  1. Veriga finală a buclei de iterare
  2. Structura înregistrării
  3. Surse de date
  4. Revizuire și export
  5. Evaluarea pe un dataset din Studio
  6. Cele mai bune practici de gestionare
  7. Puncte cheie

Lecție rescrisă la 2 noiembrie 2026 pe baza paginii Datasets de la Mistral și a SDK-ului mistralai 3.7.0: o înregistrare conține un payload cu structură liberă și properties; dataseturile sunt populate prin introducere manuală, import de fișiere sau span-uri din Explorer și sunt transmise ca atare evaluărilor offline. Metoda import_from_explorer din versiunea anterioară nu mai există. Surse: Datasets · Explore traces.

Veriga finală a buclei de iterare

Un dataset reprezintă colecția de cazuri de test care conduce o evaluare offline. Acesta oferă memorie procesului dumneavoastră de calitate: fiecare incident observat în producție poate deveni un caz de test, iar fiecare nouă versiune a aplicației este măsurată în raport cu acesta. Fără un dataset stabil, comparați impresii; cu unul, comparați cifre.

Structura înregistrării

În Studio, fiecare înregistrare conține un payload – un obiect JSON în care definiți cheile – și properties, care sunt metadate netransmise sarcinii evaluate. În timpul unei evaluări, payload-ul devine înregistrarea de intrare exact așa cum este (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Această linie reprezintă, de asemenea, formatul de import JSONL pentru dataseturile din Studio: un obiect pe linie, conținând payload și properties.

Surse de date

Puteți popula un dataset în mai multe moduri:

  • Introducere manuală, în Studio sau prin API, înregistrare cu înregistrare
  • Import de fișier JSONL folosind formatul de mai sus
  • Din Explorer: un singur span sau până la 500 de span-uri selectate devin înregistrări (Lecția 12)
  • Din Playground-ul Studio sau dintr-un alt dataset
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Crearea datasetului
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Adăugarea înregistrărilor
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Pentru volume mari, import_from_file importă un fișier JSONL deja încărcat (prin file_id), iar import_from_spans ingerează span-uri de trace: aceste importuri rulează ca sarcini de fundal, iar progresul lor poate fi urmărit cu fetch_task.

Revizuire și export

list_records iterează prin înregistrări pagină cu pagină (page_size, page), iar export_to_jsonl generează un export al cărui răspuns furnizează URL-ul de descărcare (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Evaluarea pe un dataset din Studio

O evaluare offline citește un dataset din Studio folosind slug-ul sau ID-ul acestuia:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Aici, client este clientul SDK de evaluare, iar tache și exactitude sunt definite în Lecția 14. Transmiteți exact unul dintre slug sau id; selectarea unui dataset după slug nu creează niciodată unul nou. Rețineți două reguli: o execuție citește înregistrările prezente la pornire, până la 10.000 – un dataset nu este un instantaneu, astfel încât modificarea acestuia afectează doar execuțiile ulterioare – iar dacă înregistrările sunt adăugate sau eliminate în timpul citirii, execuția eșuează înainte de a începe, în loc să se execute pe un set inconsistent.

Cele mai bune practici de gestionare

Mențineți un set de referință stabil. Un dataset care se modifică la fiecare execuție face comparația imposibilă. Creați un set de referință pe care îl modificați doar în mod deliberat și mențineți alături de el dataseturi de lucru separate.

Alimentați-l din producție. Cele mai utile cazuri sunt cele care au cauzat efectiv probleme: un span identificat în Explorer, unde corectați ieșirea așteptată, valorează mai mult decât zece cazuri inventate.

Documentați proveniența. Câmpurile properties (origine, dată, incident asociat) nu sunt vizibile pentru sarcină, dar vă vor indica peste șase luni de ce există un anumit caz.

Echilibrați-vă datele. Un dataset care conține doar cazuri ușoare vă flatează sistemul; unul care conține doar capcane îl descurajează. Vizați distribuția reală a traficului dumneavoastră, plus un număr redus de cazuri limită recunoscute.

Puncte cheie

  • O înregistrare din dataset = un payload (intrare pentru sarcină) și properties (metadate)
  • Introducere manuală, import JSONL, span-uri din Explorer, Playground: surse multiple pentru un singur dataset
  • SDK-ul expune create, create_record, import_from_file, import_from_spans, list_records și export_to_jsonl
  • Evaluările citesc un dataset prin Dataset(slug=...) sau Dataset(id=...), până la 10.000 de înregistrări
  • Un dataset nu este un instantaneu: mențineți un set de referință stabil pentru a compara versiunile