Ga naar hoofdinhoud
Nederlands— Kies een taal
Menu

Inleiding tot observability: traces, judges en evaluaties

Les 11 van 16 Bijgewerkt op 2 november 2026 Gevorderd
Op deze pagina
  1. Waarom observability essentieel is
  2. De drie pijlers van observability
  3. De vier componenten
  4. Vereisten en status
  5. De typische workflow
  6. Belangrijkste punten

Herschreven op 2 november 2026 op basis van de documentatie over Observability van Mistral en de mistralai SDK 3.7.0: observability berust nu op OpenTelemetry-traces die u in Studio kunt verkennen, LLM-judges en offline-evaluaties (mistralai-evaluations). De “Campaigns” en de chat_completion_events-API uit eerdere lessen bestaan niet meer. Bronnen: Distributed tracing · Offline evaluations.

Waarom observability essentieel is

Uw standaarddashboards voor latentie, foutpercentages en beschikbaarheid kunnen groen blijven, terwijl een assistent irrelevante antwoorden geeft, procedures verzint of van toon verandert na een update van de prompt. Een LLM in productie faalt zelden met een exception; het faalt door met overtuiging een verkeerd antwoord te geven. LLM-observability maakt deze storingen zichtbaar, meetbaar en oplosbaar.

De drie pijlers van observability

1. Zichtbaarheid – zie wat er gebeurt

Elk verzoek vanuit uw applicatie wordt een trace: een boomstructuur van spans die elke uitvoeringsstap vertegenwoordigt – modelaanroep, tool-aanroep, workflow-stap – samen met de invoer, uitvoer, duur, het aantal tokens en de status. Deze traces volgen de OpenTelemetry-standaard. Met de Explorer in Studio kunt u ze doorzoeken en inspecteren.

2. Kwaliteitssignalen – automatisch meten

Het handmatig beoordelen van duizenden gesprekken is onmogelijk. Judges zijn op LLM’s gebaseerde evaluators die u eenmaal configureert – met instructies, een model en een uitvoerformaat – en die u vervolgens toepast op gesprekken of dataset-opnames om een label of score te verkrijgen.

3. Iteratielussen – continu verbeteren

Datasets verzamelen testcases, vaak afgeleid van echte traces, en offline-evaluaties meten een versie van uw applicatie – model, prompt, parameters – tegen deze datasets voordat deze live gaat. U vergelijkt versies, houdt de beste en herhaalt het proces.

De vier componenten

Component Rol Analogie
Traces en Explorer Activiteit verzamelen, doorzoeken en inspecteren Een APM voor AI
Judges Kwaliteit automatisch evalueren Een onvermoeibare reviewer
Datasets Testcases opslaan Een regressietestsuite
Evaluaties Een versie meten tegen een dataset CI voor AI-kwaliteit

Vereisten en status

Houd rekening met de volgende drie punten voordat u begint:

  • Status: De observability-functionaliteit van Mistral bevindt zich in Private Preview en de SDK-integratie verandert snel. Mistral raadt aan de nieuwste SDK-versie te gebruiken.
  • Traces verzenden vereist slechts een geldige API-sleutel. Tracing is standaard uitgeschakeld en moet per bron worden ingeschakeld (aan bod in de volgende les).
  • Traces lezen in Studio vereist een Enterprise-organisatie en een geschikte rol (Org Admin, Workspace Admin of Observability Viewer). Offline-evaluaties en het toevoegen van spans aan een dataset zijn eveneens beperkt tot Enterprise-organisaties. Traces worden 30 dagen bewaard.

Als uw organisatie nog geen toegang heeft, is deze sectie toch de moeite waard: de concepten – tracing, judging, het bouwen van testsets en evalueren voordat u live gaat – zijn van toepassing op elke OpenTelemetry-tooling.

De typische workflow

De componenten vormen een doorlopende lus:

  1. Tracen en verkennen – Instrumenteer uw applicatie en gebruik vervolgens de Explorer om problematische traces op te sporen (fouten, traagheid, twijfelachtige antwoorden).
  2. Judgen – Maak een judge die het relevante kwaliteitscriterium formaliseert.
  3. Een dataset bouwen – Zet echte spans om in testcases.
  4. Evalueren – Meet de huidige versie en vervolgens elke variant tegen deze dataset.

Elke cyclus brengt u dichter bij een betrouwbaarder en beter gekalibreerd systeem.

Belangrijkste punten

  • LLM-observability legt storingen bloot die standaardmonitoring mist: slechte antwoorden
  • OpenTelemetry-traces (en hun Explorer), judges, datasets en offline-evaluaties vormen de verbeterlus
  • De observability van Mistral bevindt zich in Private Preview; het verzenden van traces vereist slechts een API-sleutel, terwijl het lezen van traces en het uitvoeren van offline-evaluaties een Enterprise-organisatie vereisen
  • Traces worden 30 dagen bewaard