Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Datensätze: Bewertungsmengen erstellen und iterieren

Lektion 15 von 16 Aktualisiert am 2. November 2026 Fortgeschritten
Auf dieser Seite
  1. Der letzte Glied im Iterationskreislauf
  2. Struktur eines Datensatzes
  3. Datenquellen
  4. Überprüfung und Export
  5. Bewertung auf einem Studio-Datensatz
  6. Best Practices für das Management
  7. Kernaussagen

Lektion am 2. November 2026 neu überarbeitet basierend auf der Mistral Datasets-Seite und der mistralai SDK-Version 3.7.0: Ein Datensatz enthält ein freiformiges payload und properties; Datensätze werden über manuelle Eingabe, Dateiimport oder Spans aus dem Explorer befüllt und werden unverändert an Offline-Bewertungen übergeben. Die Methode import_from_explorer der vorherigen Version existiert nicht mehr. Quellen: Datensätze · Spuren explorieren.

Der letzte Glied im Iterationskreislauf

Ein Datensatz ist die Sammlung von Testfällen, die eine Offline-Bewertung antreibt. Er verleiht Ihrem Qualitätsprozess Gedächtnis: Jedes in der Produktion beobachtete Vorfall kann zu einem Testfall werden, und jede neue Version der Anwendung wird daran gemessen. Ohne einen stabilen Datensatz vergleichen Sie Eindrücke; mit einem vergleichen Sie Zahlen.

Struktur eines Datensatzes

In Studio enthält jeder Datensatz einen Payload – ein JSON-Objekt, in dem Sie die Schlüssel definieren – und Eigenschaften, die Metadaten sind, die nicht an die zu bewertende Aufgabe übergeben werden. Während einer Bewertung wird der Payload genau so wie er ist zum Eingabeaufzeichnungsobjekt (ctx.input_record).

{"payload": {"ticket": "Mein Oktober-Rechnung listet die gleiche Abonnementgebühr doppelt auf.", "category": "Abrechnung"}, "properties": {"source": "vorfall-2026-10-14"}}

Diese Zeile stellt auch das JSONL-Importformat für Studio-Datensätze dar: Ein Objekt pro Zeile, enthaltend payload und properties.

Datenquellen

Sie können einen Datensatz auf verschiedene Weise befüllen:

  • Manuelle Eingabe in Studio oder über die API, Aufzeichnung für Aufzeichnung
  • JSONL-Dateiimport unter Verwendung des oben genannten Formats
  • Aus dem Explorer: Ein einzelner Span oder bis zu 500 ausgewählte Spans werden zu Aufzeichnungen (Lektion 12)
  • Aus dem Studio-Playground oder aus einem anderen Datensatz
from mistralai.client import Mistral

client = Mistral(api_key="ihre-api-schlüssel")
datasets = client.beta.observability.datasets

# Erstellen Sie den Datensatz
dataset = datasets.create(
    name="Support-Tickets — Referenzmenge",
    description="Manuell validierte Ticket-Klassifizierungsfälle",
)
print(f"Datensatz: {dataset.id} ({dataset.slug})")

# Aufzeichnungen hinzufügen
cases = [
    {"ticket": "Ich kann seit diesem Morgen nicht mehr anmelden.", "category": "Zugriff"},
    {"ticket": "Der PDF-Export stürzt ab, sobald der Bericht mehr als 50 Seiten umfasst.", "category": "Fehler"},
]
for payload in cases:
    datasets.create_record(
        dataset_id=dataset.id,
        payload=payload,
        properties={"origin": "manuelle Eingabe"},
    )

Für große Volumina importiert import_from_file eine bereits hochgeladene JSONL-Datei (über ihre file_id), und import_from_spans konsumiert Trace-Spans: Diese Importe laufen als Hintergrundaufgaben, und Sie können ihren Fortschritt mit fetch_task verfolgen.

Überprüfung und Export

list_records durchläuft Aufzeichnungen Seite für Seite (page_size, page), und export_to_jsonl generiert einen Export, dessen Antwort die Download-URL (file_url) bereitstellt:

page = datasets.list_records(dataset_id=dataset.id, page_size=50, page=1)
export = datasets.export_to_jsonl(dataset_id=dataset.id)
print(export.file_url)

Bewertung auf einem Studio-Datensatz

Eine Offline-Bewertung liest einen Studio-Datensatz über seinen Slug oder seine ID:

from mistralai.evaluations import Dataset, Evaluation, Evaluator, Project

run = await client.evaluation.run(
    project=Project(name="Ticket-Sortierung"),
    evaluation=Evaluation(name="Referenzmenge"),
    dataset=Dataset(slug="support-tickets-reference-set"),
    task=tache,
    evaluators=[Evaluator(name="exactitude", scorer=exactitude)],
)

Hier ist client der Bewertung-SDK-Client, und tache und exactitude sind in Lektion 14 definiert. Geben Sie genau eines von slug oder id an; die Auswahl eines Datensatzes über seinen Slug erstellt niemals einen neuen. Beachten Sie zwei Regeln: Eine Ausführung liest die Aufzeichnungen, die zum Start vorhanden sind, bis zu 10.000 – ein Datensatz ist kein Snapshot, sodass Änderungen nur nachfolgende Ausführungen beeinflussen – und wenn während des Lesens Aufzeichnungen hinzugefügt oder entfernt werden, schlägt die Ausführung vor dem Start fehl, anstatt auf einem inkonsistenten Satz ausgeführt zu werden.

Best Practices für das Management

Halten Sie eine stabile Referenzmenge. Ein Datensatz, der bei jeder Ausführung ändert, macht Vergleiche unmöglich. Erstellen Sie eine Referenzmenge, die Sie nur absichtlich ändern, und pflegen Sie separate Arbeitsdatensätze daneben.

Speisen Sie ihn aus der Produktion. Die nützlichsten Fälle sind diejenigen, die tatsächlich Probleme verursacht haben: Ein Span, der im Explorer entdeckt wurde, bei dem Sie die erwartete Ausgabe korrigieren, ist mehr wert als zehn erfundene Fälle.

Dokumentieren Sie den Ursprung. Die properties (Herkunft, Datum, verwandter Vorfall) werden von der Aufgabe nicht gesehen, aber sie werden Ihnen in sechs Monaten sagen, warum ein Fall existiert.

Ausbalancieren Sie Ihre Daten. Ein Datensatz, der nur einfache Fälle enthält, schmeichelt Ihrem System; einer, der nur Fallen enthält, ermutigt es nicht. Streben Sie die tatsächliche Verteilung Ihres Datenverkehrs an, plus eine Handvoll anerkannter Randfälle.

Kernaussagen

  • Eine Datensatz-Aufzeichnung = ein payload (Aufgabeneingabe) und properties (Metadaten)
  • Manuelle Eingabe, JSONL-Import, Explorer-Spans, Playground: Mehrere Quellen für einen einzelnen Datensatz
  • Der SDK stellt create, create_record, import_from_file, import_from_spans, list_records und export_to_jsonl bereit
  • Bewertungen lesen einen Datensatz über Dataset(slug=...) oder Dataset(id=...), bis zu 10.000 Aufzeichnungen
  • Ein Datensatz ist kein Snapshot: Halten Sie eine stabile Referenzmenge, um Versionen zu vergleichen