Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Adathalmazok: Kiértékelési készletek összeállítása és iteráció

15. lecke 16 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. Az iterációs ciklus utolsó láncszeme
  2. A rekord felépítése
  3. Adatforrások
  4. Áttekintés és exportálás
  5. Kiértékelés futtatása egy Studio adathalmazon
  6. Kezelési legjobb gyakorlatok
  7. Főbb megállapítások

A leckét 2026. november 2-án írtuk át a Mistral Datasets oldala és a mistralai SDK 3.7.0 verziója alapján: egy rekord szabad formátumú payload-t és properties-t tartalmaz; az adathalmazokat manuális bevitellel, fájlból történő importálással vagy az Explorerből származó span-okkal töltjük fel, és változatlan formában adjuk át az offline kiértékeléseknek. Az előző verzió import_from_explorer metódusa már nem létezik. Források: Datasets · Explore traces.

Az iterációs ciklus utolsó láncszeme

Az adathalmaz azon tesztesetek gyűjteménye, amely vezérli az offline kiértékelést. Memóriát biztosít a minőségi folyamatodhoz: minden éles környezetben megfigyelt incidens tesztesetté válhat, és az alkalmazás minden új verzióját ehhez viszonyítva méred meg. Stabil adathalmaz nélkül benyomásokat hasonlítasz össze; vele szemben számokat vetsz össze.

A rekord felépítése

A Studio-ban minden rekord tartalmaz egy payload-t – egy JSON-objektumot, ahol te definiálod a kulcsokat – és properties-t, amelyek olyan metaadatok, amelyeket nem adunk át a kiértékelt feladatnak. Kiértékelés során a payload pontosan úgy válik a bemeneti rekordszá (ctx.input_record), ahogy van.

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Ez a sor egyben a Studio adathalmazok JSONL import formátumát is reprezentálja: soronként egy objektum, amely tartalmazza a payload és a properties mezőket.

Adatforrások

Többféleképpen is feltölthetsz egy adathalmazt:

  • Manuális bevitel, a Studio-ban vagy az API-n keresztül, rekordonként
  • JSONL fájl importálása a fenti formátum használatával
  • Az Explorerből: egyetlen span, vagy akár 500 kiválasztott span válik rekorddá (12. lecke)
  • A Studio Playgroundből vagy egy másik adathalmazból
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Az adathalmaz létrehozása
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Rekordok hozzáadása
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

Nagy mennyiségű adat esetén az import_from_file egy már feltöltött JSONL fájlt importál (a file_id alapján), az import_from_spans pedig trace span-okat nyel el: ezek az importálások háttérfeladatként futnak, és a fetch_task segítségével követheted a haladásukat.

Áttekintés és exportálás

A list_records lapról lapra iterál a rekordokon keresztül (page_size, page), az export_to_jsonl pedig olyan exportálást generál, amelynek válasza tartalmazza a letöltési URL-t (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Kiértékelés futtatása egy Studio adathalmazon

Egy offline kiértékelés a slug vagy az ID alapján olvassa be a Studio adathalmazt:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Itt a client a kiértékelési SDK kliense, a tache és az exactitude pedig a 14. leckében vannak definiálva. Pontosan az egyiket add meg: a slug-ot vagy az id-t; ha slug alapján választasz ki egy adathalmazt, az soha nem hoz létre újat. Tartsd észben két szabályt: egy futtatás a indításkor jelen lévő rekordokat olvassa be, maximum 10 000-et – az adathalmaz nem egy pillanatkép, így annak módosítása csak a későbbi futtatásokat érinti –, és ha rekordokat adnak hozzá vagy törölnek az olvasás alatt, a futtatás elindulás előtt meghiúsul, ahelyett, hogy inkonzisztens halmazon futna le.

Kezelési legjobb gyakorlatok

Tarts fenn egy stabil referenciakészletet. Egy olyan adathalmaz, amely minden futtatással változik, lehetetlenné teszi az összehasonlítást. Hozz létre egy referenciakészletet, amelyet csak szándékosan módosítasz, és tarts mellette különálló munkakészleteket.

Tápláld éles adatokkal. A leghasznosabb esetek azok, amelyek valójában problémákat okoztak: egy az Explorerben felfedezett span, ahol kijavítod a várt kimenetet, többet ér, mint tíz kitalált eset.

Dokumentáld a származást. A properties (eredet, dátum, kapcsolódó incidens) nem látható a feladat számára, de hat hónap múlva megmondják majd, miért létezik egy adott eset.

Egyensúlyozd az adataidat. Egy csak könnyű eseteket tartalmazó adathalmaz szépíti a rendszeredet; egy csak csapdákat tartalmazó pedig elbátortalanítja. Törekedj a forgalmad tényleges eloszlására, kiegészítve néhány ismert szélsőséges esettel.

Főbb megállapítások

  • Egy adathalmaz rekordja = egy payload (feladat bemenet) és properties (metaadat)
  • Manuális bevitel, JSONL import, Explorer span-ok, Playground: több forrás egyetlen adathalmazhoz
  • Az SDK elérhetővé teszi a create, create_record, import_from_file, import_from_spans, list_records és export_to_jsonl metódusokat
  • A kiértékelések a Dataset(slug=...) vagy Dataset(id=...) segítségével olvasnak be egy adathalmazt, maximum 10 000 rekordig
  • Az adathalmaz nem pillanatkép: tarts fenn egy stabil referenciakészletet a verziók összehasonlításához