Przejdź do głównej treści
Polski— Wybierz język
Menu

Zbiory danych: Tworzenie zestawów ewaluacyjnych i iteracja

Lekcja 15 z 16 Zaktualizowano 2 listopada 2026 Zaawansowany
Na tej stronie
  1. Ostatnie ogniwo pętli iteracji
  2. Struktura rekordu
  3. Źródła danych
  4. Przegląd i eksport
  5. Ewaluacja na zbiorze danych w Studio
  6. Najlepsze praktyki zarządzania
  7. Kluczowe wnioski

Lekcja przepisana 2 listopada 2026 r. na podstawie strony Mistral Datasets oraz SDK mistralai w wersji 3.7.0: rekord zawiera dowolny obiekt payload oraz properties; zbiory danych wypełnia się poprzez ręczne wprowadzanie, import pliku lub spany z Eksploratora, a następnie przekazuje je bez zmian do ewaluacji offline. Metoda import_from_explorer znana z poprzedniej wersji już nie istnieje. Źródła: Datasets · Explore traces.

Ostatnie ogniwo pętli iteracji

Zbiór danych to kolekcja przypadków testowych napędzająca ewaluację offline. Nadaje Twojemu procesowi zapewniania jakości pamięć: każdy incydent zaobserwowany w produkcji może stać się przypadkiem testowym, a każda nowa wersja aplikacji jest z nim porównywana. Bez stabilnego zbioru danych porównujesz wrażenia; z nim – porównujesz liczby.

Struktura rekordu

W Studio każdy rekord zawiera payload – obiekt JSON, w którym definiujesz klucze – oraz properties, czyli metadane nieprzekazywane do ocenianego zadania. Podczas ewaluacji payload staje się rekordem wejściowym dokładnie w takiej postaci, w jakiej został zdefiniowany (ctx.input_record).

{"payload": {"ticket": "My October invoice lists the same subscription twice.", "category": "billing"}, "properties": {"source": "incident-2026-10-14"}}

Linia ta reprezentuje również format importu JSONL dla zbiorów danych w Studio: jeden obiekt na linię, zawierający payload i properties.

Źródła danych

Zbiór danych możesz wypełnić na kilka sposobów:

  • Ręczne wprowadzanie, w Studio lub przez API, rekord po rekordzie
  • Import pliku JSONL w powyższym formacie
  • Z Eksploratora: pojedynczy span lub do 500 wybranych spanów staje się rekordami (Lekcja 12)
  • Z Playgrounda w Studio lub z innego zbioru danych
from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")
datasets = client.beta.observability.datasets

# Utwórz zbiór danych
dataset = datasets.create(
    name="Support tickets — reference set",
    description="Manually validated ticket classification cases",
)
print(f"Dataset: {dataset.id} ({dataset.slug})")

# Dodaj rekordy
cases = [
    {"ticket": "I haven't been able to log in since this morning.", "category": "access"},
    {"ticket": "The PDF export crashes whenever the report exceeds 50 pages.", "category": "bug"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manual entry"},
    )

W przypadku dużych wolumenów import_from_file importuje wcześniej przesłany plik JSONL (po jego file_id), a import_from_spans pobiera spany śladów: te importy działają jako zadania w tle, a ich postęp możesz śledzić za pomocą fetch_task.

Przegląd i eksport

list_records iteruje przez rekordy strona po stronie (page_size, page), a export_to_jsonl generuje eksport, którego odpowiedź zawiera URL do pobrania (file_url):

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Ewaluacja na zbiorze danych w Studio

Ewaluacja offline odczytuje zbiór danych w Studio po jego slugu lub ID:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket sorting"),
    evaluation=Evaluation(name="Reference set"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Tutaj client to klient SDK do ewaluacji, a tache i exactitude zostały zdefiniowane w Lekcji 14. Przekaż dokładnie jeden z parametrów: slug lub id; wybranie zbioru danych po slugu nigdy nie tworzy nowego. Pamiętaj o dwóch zasadach: uruchomienie odczytuje rekordy obecne w momencie startu, do 10 000 – zbiór danych nie jest migawką, więc jego modyfikacja wpływa tylko na kolejne uruchomienia – a jeśli rekordy zostaną dodane lub usunięte podczas odczytu, uruchomienie zakończy się niepowodzeniem przed startem, zamiast wykonywać się na niespójnym zestawie.

Najlepsze praktyki zarządzania

Utrzymuj stabilny zbiór referencyjny. Zbiór danych zmieniający się przy każdym uruchomieniu uniemożliwia porównanie. Stwórz zbiór referencyjny, który modyfikujesz tylko świadomie, i utrzymuj obok niego osobne zbiory robocze.

Zasilaj go danymi z produkcji. Najcenniejsze przypadki to te, które faktycznie spowodowały problemy: span zauważony w Eksploratorze, dla którego poprawisz oczekiwany wynik, jest wart więcej niż dziesięć wymyślonych przypadków.

Dokumentuj pochodzenie. Pola properties (pochodzenie, data, powiązany incydent) nie są widoczne dla zadania, ale za sześć miesięcy powiedzą Ci, dlaczego dany przypadek istnieje.

Zrównoważ swoje dane. Zbiór zawierający tylko łatwe przypadki sztucznie zawyża ocenę systemu; taki zawierający wyłącznie pułapki – zniechęca. Dąż do rzeczywistego rozkładu Twojego ruchu, dodając garść uznanych przypadków brzegowych.

Kluczowe wnioski

  • Rekord zbioru danych = payload (wejście zadania) i properties (metadane)
  • Ręczne wprowadzanie, import JSONL, spany z Eksploratora, Playground: wiele źródeł dla jednego zbioru danych
  • SDK udostępnia metody: create, create_record, import_from_file, import_from_spans, list_records oraz export_to_jsonl
  • Ewaluacje odczytują zbiór danych przez Dataset(slug=...) lub Dataset(id=...), do 10 000 rekordów
  • Zbiór danych nie jest migawką: utrzymuj stabilny zbiór referencyjny, aby porównywać wersje