Adathalmazok: Kiértékelési készletek összeállítása és iteráció
Ezen az oldalon
A leckét 2026. november 2-án írtuk át a Mistral Datasets oldala és a
mistralaiSDK 3.7.0 verziója alapján: egy rekord szabad formátumúpayload-t ésproperties-t tartalmaz; az adathalmazokat manuális bevitellel, fájlból történő importálással vagy az Explorerből származó span-okkal töltjük fel, és változatlan formában adjuk át az offline kiértékeléseknek. Az előző verzióimport_from_explorermetódusa már nem létezik. Források: Datasets · Explore traces.
Az iterációs ciklus utolsó láncszeme
Az adathalmaz azon tesztesetek gyűjteménye, amely vezérli az offline kiértékelést. Memóriát biztosít a minőségi folyamatodhoz: minden éles környezetben megfigyelt incidens tesztesetté válhat, és az alkalmazás minden új verzióját ehhez viszonyítva méred meg. Stabil adathalmaz nélkül benyomásokat hasonlítasz össze; vele szemben számokat vetsz össze.
A rekord felépítése
A Studio-ban minden rekord tartalmaz egy payload-t – egy JSON-objektumot, ahol te definiálod a kulcsokat – és properties-t, amelyek olyan metaadatok, amelyeket nem adunk át a kiértékelt feladatnak. Kiértékelés során a payload pontosan úgy válik a bemeneti rekordszá (ctx.input_record), ahogy van.
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Ez a sor egyben a Studio adathalmazok JSONL import formátumát is reprezentálja: soronként egy objektum, amely tartalmazza a payload és a properties mezőket.
Adatforrások
Többféleképpen is feltölthetsz egy adathalmazt:
- Manuális bevitel, a Studio-ban vagy az API-n keresztül, rekordonként
- JSONL fájl importálása a fenti formátum használatával
- Az Explorerből: egyetlen span, vagy akár 500 kiválasztott span válik rekorddá (12. lecke)
- A Studio Playgroundből vagy egy másik adathalmazból
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Az adathalmaz létrehozása
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Rekordok hozzáadása
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
Nagy mennyiségű adat esetén az import_from_file egy már feltöltött JSONL fájlt importál (a file_id alapján), az import_from_spans pedig trace span-okat nyel el: ezek az importálások háttérfeladatként futnak, és a fetch_task segítségével követheted a haladásukat.
Áttekintés és exportálás
A list_records lapról lapra iterál a rekordokon keresztül (page_size, page), az export_to_jsonl pedig olyan exportálást generál, amelynek válasza tartalmazza a letöltési URL-t (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Kiértékelés futtatása egy Studio adathalmazon
Egy offline kiértékelés a slug vagy az ID alapján olvassa be a Studio adathalmazt:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Itt a client a kiértékelési SDK kliense, a tache és az exactitude pedig a 14. leckében vannak definiálva. Pontosan az egyiket add meg: a slug-ot vagy az id-t; ha slug alapján választasz ki egy adathalmazt, az soha nem hoz létre újat. Tartsd észben két szabályt: egy futtatás a indításkor jelen lévő rekordokat olvassa be, maximum 10 000-et – az adathalmaz nem egy pillanatkép, így annak módosítása csak a későbbi futtatásokat érinti –, és ha rekordokat adnak hozzá vagy törölnek az olvasás alatt, a futtatás elindulás előtt meghiúsul, ahelyett, hogy inkonzisztens halmazon futna le.
Kezelési legjobb gyakorlatok
Tarts fenn egy stabil referenciakészletet. Egy olyan adathalmaz, amely minden futtatással változik, lehetetlenné teszi az összehasonlítást. Hozz létre egy referenciakészletet, amelyet csak szándékosan módosítasz, és tarts mellette különálló munkakészleteket.
Tápláld éles adatokkal. A leghasznosabb esetek azok, amelyek valójában problémákat okoztak: egy az Explorerben felfedezett span, ahol kijavítod a várt kimenetet, többet ér, mint tíz kitalált eset.
Dokumentáld a származást. A properties (eredet, dátum, kapcsolódó incidens) nem látható a feladat számára, de hat hónap múlva megmondják majd, miért létezik egy adott eset.
Egyensúlyozd az adataidat. Egy csak könnyű eseteket tartalmazó adathalmaz szépíti a rendszeredet; egy csak csapdákat tartalmazó pedig elbátortalanítja. Törekedj a forgalmad tényleges eloszlására, kiegészítve néhány ismert szélsőséges esettel.
Főbb megállapítások
- Egy adathalmaz rekordja = egy
payload(feladat bemenet) ésproperties(metaadat) - Manuális bevitel, JSONL import, Explorer span-ok, Playground: több forrás egyetlen adathalmazhoz
- Az SDK elérhetővé teszi a
create,create_record,import_from_file,import_from_spans,list_recordsésexport_to_jsonlmetódusokat - A kiértékelések a
Dataset(slug=...)vagyDataset(id=...)segítségével olvasnak be egy adathalmazt, maximum 10 000 rekordig - Az adathalmaz nem pillanatkép: tarts fenn egy stabil referenciakészletet a verziók összehasonlításához