Einführung in Observability: Traces, Judges und Evaluations
Auf dieser Seite
Überarbeitet am 2. November 2026 basierend auf der Mistral-Dokumentation zu Observability und dem
mistralaiSDK 3.7.0: Observability stützt sich nun auf OpenTelemetry-Traces, die im Studio erkundet werden, sowie auf LLM-Judges und Offline-Evaluations (mistralai-evaluations). Die Funktionen „Campaigns” und diechat_completion_events-API aus früheren Lektionen existieren nicht mehr. Quellen: Distributed tracing · Offline evaluations.
Warum Observability unerlässlich ist
Ihre Standard-Dashboards – Latenz, Fehlerraten, Verfügbarkeit – können grün bleiben, während ein Assistent irrelevante Antworten liefert, Verfahren erfindet oder den Ton nach einer Prompt-Änderung verschiebt. Ein LLM in der Produktion versagt selten mit einer Ausnahme; es versagt, indem es eine falsche Antwort mit Zuversicht liefert. LLM-Observability macht diese Fehler sichtbar, messbar und beherrschbar.
Die drei Säulen der Observability
1. Sichtbarkeit – Was passiert, sehen
Jede Anfrage Ihrer Anwendung wird zu einem Trace: einem Baum aus Spans, die jeden Schritt der Ausführung repräsentieren – Modellaufruf, Tool-Aufruf, Workflow-Schritt – zusammen mit Eingabe, Ausgabe, Dauer, Token-Anzahl und Status. Diese Traces folgen dem OpenTelemetry-Standard, und der Explorer im Studio ermöglicht es Ihnen, sie zu durchsuchen und zu untersuchen.
2. Qualitäts-Signale – Automatisierte Messung
Das manuelle Durchsehen von Tausenden von Gesprächen ist unmöglich. Judges sind von LLMs gesteuerte Evaluatoren, die Sie einmal konfigurieren – mit Anweisungen, einem Modell und einem Ausgabeformat – und dann auf Gespräche oder Datensatz-Aufzeichnungen anwenden, um ein Label oder eine Punktzahl zu erhalten.
3. Iterationszyklen – Kontinuierliche Verbesserung
Datasets sammeln Testfälle, die oft aus echten Traces gezogen werden, und Offline-Evaluations messen eine Version Ihrer Anwendung – Modell, Prompt, Parameter – gegen diese Datensätze vor dem Deployment. Sie vergleichen Versionen, behalten die beste bei und wiederholen den Prozess.
Die vier Komponenten
| Komponente | Rolle | Analogie |
|---|---|---|
| Traces und Explorer | Aktivitäten sammeln, durchsuchen und untersuchen | Ein APM für KI |
| Judges | Qualität automatisch bewerten | Ein unermüdlicher Prüfer |
| Datasets | Testfälle speichern | Eine Regressionstest-Suite |
| Evaluations | Eine Version gegen einen Datensatz messen | CI für KI-Qualität |
Voraussetzungen und Status
Bevor Sie beginnen, halten Sie drei Punkte im Sinn:
- Status: Mistrals Observability befindet sich im Private Preview, und die Integration des SDKs ändert sich schnell. Mistral empfiehlt die Verwendung der neuesten SDK-Version.
- Das Senden von Traces erfordert lediglich einen gültigen API-Schlüssel. Das Tracing ist standardmäßig deaktiviert und muss pro Quelle aktiviert werden (dies wird in der nächsten Lektion behandelt).
- Das Lesen von Traces im Studio erfordert eine Enterprise-Organisation und eine entsprechende Rolle (Org Admin, Workspace Admin oder Observability Viewer). Auch Offline-Evaluations und das Hinzufügen von Spans zu einem Datensatz sind auf Enterprise-Organisationen beschränkt. Traces werden 30 Tage lang gespeichert.
Falls Ihre Organisation noch keinen Zugriff hat, lohnt sich dieser Abschnitt dennoch: Die Konzepte – Tracing, Prüfen, Aufbau von Testsets und Evaluieren vor dem Deployment – gelten für jedes OpenTelemetry-Tooling.
Der typische Arbeitsablauf
Die Komponenten bilden einen kontinuierlichen Zyklus:
- Trace und erkunden – Instrumentieren Sie Ihre Anwendung und nutzen Sie den Explorer, um problematische Traces zu identifizieren (Fehler, Langsamkeit, fragwürdige Antworten)
- Prüfen – Erstellen Sie einen Judge, der das relevante Qualitätskriterium formalisiert
- Datensatz erstellen – Wandeln Sie echte Spans in Testfälle um
- Evaluieren – Messen Sie die aktuelle Version sowie jede Variante gegen diesen Datensatz
Jeder Zyklus bringt Sie einem zuverlässigeren, besser kalibrierten System näher.
Kernaussagen
- LLM-Observability enthüllt Fehler, die Standard-Monitoring übersehen: schlechte Antworten
- OpenTelemetry-Traces (und ihr Explorer), Judges, Datasets und Offline-Evaluations bilden den Verbesserungszyklus
- Mistrals Observability befindet sich im Private Preview; das Senden von Traces erfordert lediglich einen API-Schlüssel, während das Lesen von Traces und das Durchführen von Offline-Evaluations eine Enterprise-Organisation erfordert
- Traces werden 30 Tage lang gespeichert