Inleiding tot observability: traces, judges en evaluaties
Op deze pagina
Herschreven op 2 november 2026 op basis van de documentatie over Observability van Mistral en de
mistralaiSDK 3.7.0: observability berust nu op OpenTelemetry-traces die u in Studio kunt verkennen, LLM-judges en offline-evaluaties (mistralai-evaluations). De “Campaigns” en dechat_completion_events-API uit eerdere lessen bestaan niet meer. Bronnen: Distributed tracing · Offline evaluations.
Waarom observability essentieel is
Uw standaarddashboards voor latentie, foutpercentages en beschikbaarheid kunnen groen blijven, terwijl een assistent irrelevante antwoorden geeft, procedures verzint of van toon verandert na een update van de prompt. Een LLM in productie faalt zelden met een exception; het faalt door met overtuiging een verkeerd antwoord te geven. LLM-observability maakt deze storingen zichtbaar, meetbaar en oplosbaar.
De drie pijlers van observability
1. Zichtbaarheid – zie wat er gebeurt
Elk verzoek vanuit uw applicatie wordt een trace: een boomstructuur van spans die elke uitvoeringsstap vertegenwoordigt – modelaanroep, tool-aanroep, workflow-stap – samen met de invoer, uitvoer, duur, het aantal tokens en de status. Deze traces volgen de OpenTelemetry-standaard. Met de Explorer in Studio kunt u ze doorzoeken en inspecteren.
2. Kwaliteitssignalen – automatisch meten
Het handmatig beoordelen van duizenden gesprekken is onmogelijk. Judges zijn op LLM’s gebaseerde evaluators die u eenmaal configureert – met instructies, een model en een uitvoerformaat – en die u vervolgens toepast op gesprekken of dataset-opnames om een label of score te verkrijgen.
3. Iteratielussen – continu verbeteren
Datasets verzamelen testcases, vaak afgeleid van echte traces, en offline-evaluaties meten een versie van uw applicatie – model, prompt, parameters – tegen deze datasets voordat deze live gaat. U vergelijkt versies, houdt de beste en herhaalt het proces.
De vier componenten
| Component | Rol | Analogie |
|---|---|---|
| Traces en Explorer | Activiteit verzamelen, doorzoeken en inspecteren | Een APM voor AI |
| Judges | Kwaliteit automatisch evalueren | Een onvermoeibare reviewer |
| Datasets | Testcases opslaan | Een regressietestsuite |
| Evaluaties | Een versie meten tegen een dataset | CI voor AI-kwaliteit |
Vereisten en status
Houd rekening met de volgende drie punten voordat u begint:
- Status: De observability-functionaliteit van Mistral bevindt zich in Private Preview en de SDK-integratie verandert snel. Mistral raadt aan de nieuwste SDK-versie te gebruiken.
- Traces verzenden vereist slechts een geldige API-sleutel. Tracing is standaard uitgeschakeld en moet per bron worden ingeschakeld (aan bod in de volgende les).
- Traces lezen in Studio vereist een Enterprise-organisatie en een geschikte rol (Org Admin, Workspace Admin of Observability Viewer). Offline-evaluaties en het toevoegen van spans aan een dataset zijn eveneens beperkt tot Enterprise-organisaties. Traces worden 30 dagen bewaard.
Als uw organisatie nog geen toegang heeft, is deze sectie toch de moeite waard: de concepten – tracing, judging, het bouwen van testsets en evalueren voordat u live gaat – zijn van toepassing op elke OpenTelemetry-tooling.
De typische workflow
De componenten vormen een doorlopende lus:
- Tracen en verkennen – Instrumenteer uw applicatie en gebruik vervolgens de Explorer om problematische traces op te sporen (fouten, traagheid, twijfelachtige antwoorden).
- Judgen – Maak een judge die het relevante kwaliteitscriterium formaliseert.
- Een dataset bouwen – Zet echte spans om in testcases.
- Evalueren – Meet de huidige versie en vervolgens elke variant tegen deze dataset.
Elke cyclus brengt u dichter bij een betrouwbaarder en beter gekalibreerd systeem.
Belangrijkste punten
- LLM-observability legt storingen bloot die standaardmonitoring mist: slechte antwoorden
- OpenTelemetry-traces (en hun Explorer), judges, datasets en offline-evaluaties vormen de verbeterlus
- De observability van Mistral bevindt zich in Private Preview; het verzenden van traces vereist slechts een API-sleutel, terwijl het lezen van traces en het uitvoeren van offline-evaluaties een Enterprise-organisatie vereisen
- Traces worden 30 dagen bewaard