Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

Introduktion till observerbarhet: Spår, domare och utvärderingar

Lektion 11 av 16 Uppdaterad 2 november 2026 Avancerad
På denna sida
  1. Varför observerbarhet är avgörande
  2. De tre pelarna i observerbarhet
  3. De fyra komponenterna
  4. Förutsättningar och status
  5. Det typiska arbetsflödet
  6. Viktiga punkter

Omskrivet den 2 november 2026 baserat på Mistrals dokumentation om Observability och mistralai SDK 3.7.0: observerbarhet förlitar sig nu på OpenTelemetry-spår som utforskas i Studio, LLM-domare och offline-utvärderingar (mistralai-evaluations). Funktionerna “Campaigns” och API:t chat_completion_events från tidigare lektioner finns inte längre. Källor: Distributed tracing · Offline evaluations.

Varför observerbarhet är avgörande

Dina vanliga instrumentpaneler – latens, felprocent, tillgänglighet – kan visa grönt medan en assistent ger irrelevanta svar, hittar på procedurer eller ändrar tonläge efter en prompt-uppdatering. En LLM i produktion misslyckas sällan med ett undantag; den misslyckas genom att leverera ett felaktigt svar med självförtroende. Observerbarhet för LLM gör dessa misslyckanden synliga, mätbara och åtgärdbara.

De tre pelarna i observerbarhet

1. Synlighet – Se vad som händer

Varje begäran från din applikation blir ett spår: ett träd av spann som representerar varje steg i exekveringen – modellanrop, verktygsanrop, arbetsflödessteg – tillsammans med indata, utdata, varaktighet, antal token och status. Dessa spår följer OpenTelemetry-standarden, och Studios Explorer låter dig söka och inspektera dem.

2. Kvalitetssignaler – Mät automatiskt

Att manuellt granska tusentals konversationer är omöjligt. Domare är LLM-baserade utvärderare som du konfigurerar en gång – med instruktioner, en modell och ett utdataformat – och sedan applicerar på konversationer eller dataset-inspelningar för att få en etikett eller poäng.

3. Iterationsslingor – Förbättra kontinuerligt

Dataset samlar testfall, ofta hämtade från verkliga spår, och offline-utvärderingar mäter en version av din applikation – modell, prompt, parametrar – mot dem innan driftsättning. Du jämför versioner, behåller den bästa och upprepar processen.

De fyra komponenterna

Komponent Roll Analogi
Spår och Explorer Samla in, sök och inspektera aktivitet En APM för AI
Domare Utvärdera kvalitet automatiskt En outtröttlig granskare
Dataset Lagra testfall En svit för regressionstestning
Utvärderingar Mät en version mot ett dataset CI för AI-kvalitet

Förutsättningar och status

Ha följande tre punkter i åtanke innan du börjar:

  • Status: Mistrals observerbarhetsfunktioner befinner sig i Private Preview, och SDK-integrationen ändras snabbt. Mistral rekommenderar att du använder den senaste SDK-versionen.
  • Skicka spår kräver endast en giltig API-nyckel. Spårning är inaktiverad som standard och måste aktiveras per källa (behandlas i nästa lektion).
  • Läsa spår i Studio kräver en Enterprise-organisation och en lämplig roll (Org Admin, Workspace Admin eller Observability Viewer). Offline-utvärderingar och att lägga till span i ett dataset är också begränsat till Enterprise-organisationer. Spår lagras i 30 dagar.

Om din organisation inte har tillgång än är detta avsnitt ändå värt din tid: koncepten – spårning, bedömning, bygge av testset och utvärdering före driftsättning – gäller för alla OpenTelemetry-verktyg.

Det typiska arbetsflödet

Komponenterna bildar en kontinuerlig slinga:

  1. Spåra och utforska – Instrumentera din applikation och använd sedan Explorer för att identifiera problematiska spår (fel, långsamhet, tveksamma svar).
  2. Bedöm – Skapa en domare som formaliserar det relevanta kvalitetskriteriet.
  3. Bygg ett dataset – Omvandla verkliga span till testfall.
  4. Utvärdera – Mät den aktuella versionen, och sedan varje variant, mot detta dataset.

Varje cykel bringar dig närmare ett mer tillförlitligt och bättre kalibrerat system.

Viktiga punkter

  • Observerbarhet för LLM blottar misslyckanden som vanlig övervakning missar: dåliga svar.
  • OpenTelemetry-spår (och deras Explorer), domare, dataset och offline-utvärderingar bildar förbättringsslingan.
  • Mistrals observerbarhet är i Private Preview; att skicka spår kräver endast en API-nyckel, medan läsning av spår och körning av offline-utvärderingar kräver en Enterprise-organisation.
  • Spår lagras i 30 dagar.