Introduktion till observerbarhet: Spår, domare och utvärderingar
På denna sida
Omskrivet den 2 november 2026 baserat på Mistrals dokumentation om Observability och
mistralaiSDK 3.7.0: observerbarhet förlitar sig nu på OpenTelemetry-spår som utforskas i Studio, LLM-domare och offline-utvärderingar (mistralai-evaluations). Funktionerna “Campaigns” och API:tchat_completion_eventsfrån tidigare lektioner finns inte längre. Källor: Distributed tracing · Offline evaluations.
Varför observerbarhet är avgörande
Dina vanliga instrumentpaneler – latens, felprocent, tillgänglighet – kan visa grönt medan en assistent ger irrelevanta svar, hittar på procedurer eller ändrar tonläge efter en prompt-uppdatering. En LLM i produktion misslyckas sällan med ett undantag; den misslyckas genom att leverera ett felaktigt svar med självförtroende. Observerbarhet för LLM gör dessa misslyckanden synliga, mätbara och åtgärdbara.
De tre pelarna i observerbarhet
1. Synlighet – Se vad som händer
Varje begäran från din applikation blir ett spår: ett träd av spann som representerar varje steg i exekveringen – modellanrop, verktygsanrop, arbetsflödessteg – tillsammans med indata, utdata, varaktighet, antal token och status. Dessa spår följer OpenTelemetry-standarden, och Studios Explorer låter dig söka och inspektera dem.
2. Kvalitetssignaler – Mät automatiskt
Att manuellt granska tusentals konversationer är omöjligt. Domare är LLM-baserade utvärderare som du konfigurerar en gång – med instruktioner, en modell och ett utdataformat – och sedan applicerar på konversationer eller dataset-inspelningar för att få en etikett eller poäng.
3. Iterationsslingor – Förbättra kontinuerligt
Dataset samlar testfall, ofta hämtade från verkliga spår, och offline-utvärderingar mäter en version av din applikation – modell, prompt, parametrar – mot dem innan driftsättning. Du jämför versioner, behåller den bästa och upprepar processen.
De fyra komponenterna
| Komponent | Roll | Analogi |
|---|---|---|
| Spår och Explorer | Samla in, sök och inspektera aktivitet | En APM för AI |
| Domare | Utvärdera kvalitet automatiskt | En outtröttlig granskare |
| Dataset | Lagra testfall | En svit för regressionstestning |
| Utvärderingar | Mät en version mot ett dataset | CI för AI-kvalitet |
Förutsättningar och status
Ha följande tre punkter i åtanke innan du börjar:
- Status: Mistrals observerbarhetsfunktioner befinner sig i Private Preview, och SDK-integrationen ändras snabbt. Mistral rekommenderar att du använder den senaste SDK-versionen.
- Skicka spår kräver endast en giltig API-nyckel. Spårning är inaktiverad som standard och måste aktiveras per källa (behandlas i nästa lektion).
- Läsa spår i Studio kräver en Enterprise-organisation och en lämplig roll (Org Admin, Workspace Admin eller Observability Viewer). Offline-utvärderingar och att lägga till span i ett dataset är också begränsat till Enterprise-organisationer. Spår lagras i 30 dagar.
Om din organisation inte har tillgång än är detta avsnitt ändå värt din tid: koncepten – spårning, bedömning, bygge av testset och utvärdering före driftsättning – gäller för alla OpenTelemetry-verktyg.
Det typiska arbetsflödet
Komponenterna bildar en kontinuerlig slinga:
- Spåra och utforska – Instrumentera din applikation och använd sedan Explorer för att identifiera problematiska spår (fel, långsamhet, tveksamma svar).
- Bedöm – Skapa en domare som formaliserar det relevanta kvalitetskriteriet.
- Bygg ett dataset – Omvandla verkliga span till testfall.
- Utvärdera – Mät den aktuella versionen, och sedan varje variant, mot detta dataset.
Varje cykel bringar dig närmare ett mer tillförlitligt och bättre kalibrerat system.
Viktiga punkter
- Observerbarhet för LLM blottar misslyckanden som vanlig övervakning missar: dåliga svar.
- OpenTelemetry-spår (och deras Explorer), domare, dataset och offline-utvärderingar bildar förbättringsslingan.
- Mistrals observerbarhet är i Private Preview; att skicka spår kräver endast en API-nyckel, medan läsning av spår och körning av offline-utvärderingar kräver en Enterprise-organisation.
- Spår lagras i 30 dagar.