Zbiory danych: Tworzenie zestawów ewaluacyjnych i iteracja
Na tej stronie
Lekcja przepisana 2 listopada 2026 r. na podstawie strony Mistral Datasets oraz SDK
mistralaiw wersji 3.7.0: rekord zawiera dowolny obiektpayloadorazproperties; zbiory danych wypełnia się poprzez ręczne wprowadzanie, import pliku lub spany z Eksploratora, a następnie przekazuje je bez zmian do ewaluacji offline. Metodaimport_from_explorerznana z poprzedniej wersji już nie istnieje. Źródła: Datasets · Explore traces.
Ostatnie ogniwo pętli iteracji
Zbiór danych to kolekcja przypadków testowych napędzająca ewaluację offline. Nadaje Twojemu procesowi zapewniania jakości pamięć: każdy incydent zaobserwowany w produkcji może stać się przypadkiem testowym, a każda nowa wersja aplikacji jest z nim porównywana. Bez stabilnego zbioru danych porównujesz wrażenia; z nim – porównujesz liczby.
Struktura rekordu
W Studio każdy rekord zawiera payload – obiekt JSON, w którym definiujesz klucze – oraz properties, czyli metadane nieprzekazywane do ocenianego zadania. Podczas ewaluacji payload staje się rekordem wejściowym dokładnie w takiej postaci, w jakiej został zdefiniowany (ctx.input_record).
{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}
Linia ta reprezentuje również format importu JSONL dla zbiorów danych w Studio: jeden obiekt na linię, zawierający payload i properties.
Źródła danych
Zbiór danych możesz wypełnić na kilka sposobów:
- Ręczne wprowadzanie, w Studio lub przez API, rekord po rekordzie
- Import pliku JSONL w powyższym formacie
- Z Eksploratora: pojedynczy span lub do 500 wybranych spanów staje się rekordami (Lekcja 12)
- Z Playgrounda w Studio lub z innego zbioru danych
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets
# Utwórz zbiór danych
dataset = datasets.create(
name="Support tickets — reference set",
description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")
# Dodaj rekordy
cases = [
{"ticket": "I haven't been able to log in since this morning.", "category": "access"},
{"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
datasets.create_record(
dataset_id=dataset.id,
payload=payload,
properties={"origin": "manual entry"},
)
W przypadku dużych wolumenów import_from_file importuje wcześniej przesłany plik JSONL (po jego file_id), a import_from_spans pobiera spany śladów: te importy działają jako zadania w tle, a ich postęp możesz śledzić za pomocą fetch_task.
Przegląd i eksport
list_records iteruje przez rekordy strona po stronie (page_size, page), a export_to_jsonl generuje eksport, którego odpowiedź zawiera URL do pobrania (file_url):
page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)
Ewaluacja na zbiorze danych w Studio
Ewaluacja offline odczytuje zbiór danych w Studio po jego slugu lub ID:
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project
run = await client.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Reference set"),
dataset=Dataset(slug="support-tickets-reference-set"),
task=tache,
evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)
Tutaj client to klient SDK do ewaluacji, a tache i exactitude zostały zdefiniowane w Lekcji 14. Przekaż dokładnie jeden z parametrów: slug lub id; wybranie zbioru danych po slugu nigdy nie tworzy nowego. Pamiętaj o dwóch zasadach: uruchomienie odczytuje rekordy obecne w momencie startu, do 10 000 – zbiór danych nie jest migawką, więc jego modyfikacja wpływa tylko na kolejne uruchomienia – a jeśli rekordy zostaną dodane lub usunięte podczas odczytu, uruchomienie zakończy się niepowodzeniem przed startem, zamiast wykonywać się na niespójnym zestawie.
Najlepsze praktyki zarządzania
Utrzymuj stabilny zbiór referencyjny. Zbiór danych zmieniający się przy każdym uruchomieniu uniemożliwia porównanie. Stwórz zbiór referencyjny, który modyfikujesz tylko świadomie, i utrzymuj obok niego osobne zbiory robocze.
Zasilaj go danymi z produkcji. Najcenniejsze przypadki to te, które faktycznie spowodowały problemy: span zauważony w Eksploratorze, dla którego poprawisz oczekiwany wynik, jest wart więcej niż dziesięć wymyślonych przypadków.
Dokumentuj pochodzenie. Pola properties (pochodzenie, data, powiązany incydent) nie są widoczne dla zadania, ale za sześć miesięcy powiedzą Ci, dlaczego dany przypadek istnieje.
Zrównoważ swoje dane. Zbiór zawierający tylko łatwe przypadki sztucznie zawyża ocenę systemu; taki zawierający wyłącznie pułapki – zniechęca. Dąż do rzeczywistego rozkładu Twojego ruchu, dodając garść uznanych przypadków brzegowych.
Kluczowe wnioski
- Rekord zbioru danych =
payload(wejście zadania) iproperties(metadane) - Ręczne wprowadzanie, import JSONL, spany z Eksploratora, Playground: wiele źródeł dla jednego zbioru danych
- SDK udostępnia metody:
create,create_record,import_from_file,import_from_spans,list_recordsorazexport_to_jsonl - Ewaluacje odczytują zbiór danych przez
Dataset(slug=...)lubDataset(id=...), do 10 000 rekordów - Zbiór danych nie jest migawką: utrzymuj stabilny zbiór referencyjny, aby porównywać wersje