Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Einführung in Observability: Traces, Judges und Evaluations

Lektion 11 von 16 Aktualisiert am 2. November 2026 Fortgeschritten
Auf dieser Seite
  1. Warum Observability unerlässlich ist
  2. Die drei Säulen der Observability
  3. Die vier Komponenten
  4. Voraussetzungen und Status
  5. Der typische Arbeitsablauf
  6. Kernaussagen

Überarbeitet am 2. November 2026 basierend auf der Mistral-Dokumentation zu Observability und dem mistralai SDK 3.7.0: Observability stützt sich nun auf OpenTelemetry-Traces, die im Studio erkundet werden, sowie auf LLM-Judges und Offline-Evaluations (mistralai-evaluations). Die Funktionen „Campaigns” und die chat_completion_events-API aus früheren Lektionen existieren nicht mehr. Quellen: Distributed tracing · Offline evaluations.

Warum Observability unerlässlich ist

Ihre Standard-Dashboards – Latenz, Fehlerraten, Verfügbarkeit – können grün bleiben, während ein Assistent irrelevante Antworten liefert, Verfahren erfindet oder den Ton nach einer Prompt-Änderung verschiebt. Ein LLM in der Produktion versagt selten mit einer Ausnahme; es versagt, indem es eine falsche Antwort mit Zuversicht liefert. LLM-Observability macht diese Fehler sichtbar, messbar und beherrschbar.

Die drei Säulen der Observability

1. Sichtbarkeit – Was passiert, sehen

Jede Anfrage Ihrer Anwendung wird zu einem Trace: einem Baum aus Spans, die jeden Schritt der Ausführung repräsentieren – Modellaufruf, Tool-Aufruf, Workflow-Schritt – zusammen mit Eingabe, Ausgabe, Dauer, Token-Anzahl und Status. Diese Traces folgen dem OpenTelemetry-Standard, und der Explorer im Studio ermöglicht es Ihnen, sie zu durchsuchen und zu untersuchen.

2. Qualitäts-Signale – Automatisierte Messung

Das manuelle Durchsehen von Tausenden von Gesprächen ist unmöglich. Judges sind von LLMs gesteuerte Evaluatoren, die Sie einmal konfigurieren – mit Anweisungen, einem Modell und einem Ausgabeformat – und dann auf Gespräche oder Datensatz-Aufzeichnungen anwenden, um ein Label oder eine Punktzahl zu erhalten.

3. Iterationszyklen – Kontinuierliche Verbesserung

Datasets sammeln Testfälle, die oft aus echten Traces gezogen werden, und Offline-Evaluations messen eine Version Ihrer Anwendung – Modell, Prompt, Parameter – gegen diese Datensätze vor dem Deployment. Sie vergleichen Versionen, behalten die beste bei und wiederholen den Prozess.

Die vier Komponenten

Komponente Rolle Analogie
Traces und Explorer Aktivitäten sammeln, durchsuchen und untersuchen Ein APM für KI
Judges Qualität automatisch bewerten Ein unermüdlicher Prüfer
Datasets Testfälle speichern Eine Regressionstest-Suite
Evaluations Eine Version gegen einen Datensatz messen CI für KI-Qualität

Voraussetzungen und Status

Bevor Sie beginnen, halten Sie drei Punkte im Sinn:

  • Status: Mistrals Observability befindet sich im Private Preview, und die Integration des SDKs ändert sich schnell. Mistral empfiehlt die Verwendung der neuesten SDK-Version.
  • Das Senden von Traces erfordert lediglich einen gültigen API-Schlüssel. Das Tracing ist standardmäßig deaktiviert und muss pro Quelle aktiviert werden (dies wird in der nächsten Lektion behandelt).
  • Das Lesen von Traces im Studio erfordert eine Enterprise-Organisation und eine entsprechende Rolle (Org Admin, Workspace Admin oder Observability Viewer). Auch Offline-Evaluations und das Hinzufügen von Spans zu einem Datensatz sind auf Enterprise-Organisationen beschränkt. Traces werden 30 Tage lang gespeichert.

Falls Ihre Organisation noch keinen Zugriff hat, lohnt sich dieser Abschnitt dennoch: Die Konzepte – Tracing, Prüfen, Aufbau von Testsets und Evaluieren vor dem Deployment – gelten für jedes OpenTelemetry-Tooling.

Der typische Arbeitsablauf

Die Komponenten bilden einen kontinuierlichen Zyklus:

  1. Trace und erkunden – Instrumentieren Sie Ihre Anwendung und nutzen Sie den Explorer, um problematische Traces zu identifizieren (Fehler, Langsamkeit, fragwürdige Antworten)
  2. Prüfen – Erstellen Sie einen Judge, der das relevante Qualitätskriterium formalisiert
  3. Datensatz erstellen – Wandeln Sie echte Spans in Testfälle um
  4. Evaluieren – Messen Sie die aktuelle Version sowie jede Variante gegen diesen Datensatz

Jeder Zyklus bringt Sie einem zuverlässigeren, besser kalibrierten System näher.

Kernaussagen

  • LLM-Observability enthüllt Fehler, die Standard-Monitoring übersehen: schlechte Antworten
  • OpenTelemetry-Traces (und ihr Explorer), Judges, Datasets und Offline-Evaluations bilden den Verbesserungszyklus
  • Mistrals Observability befindet sich im Private Preview; das Senden von Traces erfordert lediglich einen API-Schlüssel, während das Lesen von Traces und das Durchführen von Offline-Evaluations eine Enterprise-Organisation erfordert
  • Traces werden 30 Tage lang gespeichert