Introduktion til observability: Spor, dommere og evalueringer
På denne side
Omskrevet den 2. november 2026 baseret på Mistrals dokumentation om Observability og
mistralaiSDK 3.7.0: Observability hviler nu på OpenTelemetry-spor, som udforskes i Studio, LLM-dommere og offline-evalueringer (mistralai-evaluations). „Campaigns” ogchat_completion_events-API’en fra tidligere lektioner eksisterer ikke længere. Kilder: Distributed tracing · Offline evaluations.
Hvorfor observability er afgørende
Dine standarddashboards – latens, fejlprocent, tilgængelighed – kan vise grønt, mens en assistent giver irrelevante svar, opfinder procedurer eller skifter tone efter en prompt-opdatering. En LLM i produktion fejler sjældent med en undtagelse; den fejler ved at levere et forkert svar med selvsikkerhed. LLM-observability gør disse fejl synlige, målbare og løsbare.
De tre søjler i observability
1. Synlighed – Se hvad der sker
Hver anmodning fra din applikation bliver til et spor: et træ af spænd, der repræsenterer hvert trin i eksekveringen – modelkald, værktøjskald, workflow-trin – sammen med input, output, varighed, antal tokens og status. Disse spor følger OpenTelemetry-standarden, og Studio’s Explorer lader dig søge i og inspicere dem.
2. Kvalitetssignaler – Mål automatisk
Det er umuligt manuelt at gennemgå tusindvis af samtaler. Dommere er LLM-baserede evaluatorer, som du konfigurerer én gang – med instrukser, en model og et output-format – og derefter anvender på samtaler eller datasæt-optagelser for at få et label eller en score.
3. Iterationsloop – Forbedr løbende
Datasæt samler testcases, ofte trukket direkte fra rigtige spor, og offline-evalueringer måler en version af din applikation – model, prompt, parametre – op imod dem før deployment. Du sammenligner versioner, beholder den bedste og gentager processen.
De fire komponenter
| Komponent | Rolle | Analogi |
|---|---|---|
| Spor og Explorer | Indsaml, søg og inspicer aktivitet | En APM til AI |
| Dommere | Evaluér kvalitet automatisk | En utrættelig anmelder |
| Datasæt | Gem testcases | En regressionstestsuite |
| Evalueringer | Mål en version op imod et datasæt | CI til AI-kvalitet |
Forudsætninger og status
Husk disse tre punkter, før du starter:
- Status: Mistrals observability er i Private Preview, og SDK-integrationen ændrer sig hurtigt. Mistral anbefaler at bruge den seneste SDK-version.
- Afsendelse af spor kræver kun en gyldig API-nøgle. Sporing er deaktiveret som standard og skal aktiveres pr. kilde (dette dækkes i næste lektion).
- Læsning af spor i Studio kræver en Enterprise-organisation og en passende rolle (Org Admin, Workspace Admin eller Observability Viewer). Offline-evalueringer og tilføjelse af spænd til et datasæt er også begrænset til Enterprise-organisationer. Spor opbevares i 30 dage.
Hvis din organisation endnu ikke har adgang, er dette afsnit stadig værd at læse: Koncepterne – sporing, bedømmelse, opbygning af testsæt og evaluering før deployment – gælder for alle OpenTelemetry-værktøjer.
Det typiske workflow
Komponenterne danner et kontinuerligt loop:
- Spor og udforsk – Instrumentér din applikation, og brug derefter Explorer til at spotte problematiske spor (fejl, langsomhed, tvivlsomme svar)
- Bedøm – Opret en dommer, der formaliserer det relevante kvalitetskriterium
- Byg et datasæt – Omdan rigtige spænd til testcases
- Evaluér – Mål den aktuelle version og derefter hver variant op imod dette datasæt
Hver cyklus bringer dig tættere på et mere pålideligt og bedre kalibreret system.
Vigtige pointer
- LLM-observability afslører fejl, som standardovervågning overser: dårlige svar
- OpenTelemetry-spor (og deres Explorer), dommere, datasæt og offline-evalueringer danner forbedringsloopet
- Mistrals observability er i Private Preview; afsendelse af spor kræver kun en API-nøgle, mens læsning af spor og kørsel af offline-evalueringer kræver en Enterprise-organisation
- Spor opbevares i 30 dage