Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Introduktion til observability: Spor, dommere og evalueringer

Lektion 11 af 16 Opdateret 2. november 2026 Avanceret
På denne side
  1. Hvorfor observability er afgørende
  2. De tre søjler i observability
  3. De fire komponenter
  4. Forudsætninger og status
  5. Det typiske workflow
  6. Vigtige pointer

Omskrevet den 2. november 2026 baseret på Mistrals dokumentation om Observability og mistralai SDK 3.7.0: Observability hviler nu på OpenTelemetry-spor, som udforskes i Studio, LLM-dommere og offline-evalueringer (mistralai-evaluations). „Campaigns” og chat_completion_events-API’en fra tidligere lektioner eksisterer ikke længere. Kilder: Distributed tracing · Offline evaluations.

Hvorfor observability er afgørende

Dine standarddashboards – latens, fejlprocent, tilgængelighed – kan vise grønt, mens en assistent giver irrelevante svar, opfinder procedurer eller skifter tone efter en prompt-opdatering. En LLM i produktion fejler sjældent med en undtagelse; den fejler ved at levere et forkert svar med selvsikkerhed. LLM-observability gør disse fejl synlige, målbare og løsbare.

De tre søjler i observability

1. Synlighed – Se hvad der sker

Hver anmodning fra din applikation bliver til et spor: et træ af spænd, der repræsenterer hvert trin i eksekveringen – modelkald, værktøjskald, workflow-trin – sammen med input, output, varighed, antal tokens og status. Disse spor følger OpenTelemetry-standarden, og Studio’s Explorer lader dig søge i og inspicere dem.

2. Kvalitetssignaler – Mål automatisk

Det er umuligt manuelt at gennemgå tusindvis af samtaler. Dommere er LLM-baserede evaluatorer, som du konfigurerer én gang – med instrukser, en model og et output-format – og derefter anvender på samtaler eller datasæt-optagelser for at få et label eller en score.

3. Iterationsloop – Forbedr løbende

Datasæt samler testcases, ofte trukket direkte fra rigtige spor, og offline-evalueringer måler en version af din applikation – model, prompt, parametre – op imod dem før deployment. Du sammenligner versioner, beholder den bedste og gentager processen.

De fire komponenter

Komponent Rolle Analogi
Spor og Explorer Indsaml, søg og inspicer aktivitet En APM til AI
Dommere Evaluér kvalitet automatisk En utrættelig anmelder
Datasæt Gem testcases En regressionstestsuite
Evalueringer Mål en version op imod et datasæt CI til AI-kvalitet

Forudsætninger og status

Husk disse tre punkter, før du starter:

  • Status: Mistrals observability er i Private Preview, og SDK-integrationen ændrer sig hurtigt. Mistral anbefaler at bruge den seneste SDK-version.
  • Afsendelse af spor kræver kun en gyldig API-nøgle. Sporing er deaktiveret som standard og skal aktiveres pr. kilde (dette dækkes i næste lektion).
  • Læsning af spor i Studio kræver en Enterprise-organisation og en passende rolle (Org Admin, Workspace Admin eller Observability Viewer). Offline-evalueringer og tilføjelse af spænd til et datasæt er også begrænset til Enterprise-organisationer. Spor opbevares i 30 dage.

Hvis din organisation endnu ikke har adgang, er dette afsnit stadig værd at læse: Koncepterne – sporing, bedømmelse, opbygning af testsæt og evaluering før deployment – gælder for alle OpenTelemetry-værktøjer.

Det typiske workflow

Komponenterne danner et kontinuerligt loop:

  1. Spor og udforsk – Instrumentér din applikation, og brug derefter Explorer til at spotte problematiske spor (fejl, langsomhed, tvivlsomme svar)
  2. Bedøm – Opret en dommer, der formaliserer det relevante kvalitetskriterium
  3. Byg et datasæt – Omdan rigtige spænd til testcases
  4. Evaluér – Mål den aktuelle version og derefter hver variant op imod dette datasæt

Hver cyklus bringer dig tættere på et mere pålideligt og bedre kalibreret system.

Vigtige pointer

  • LLM-observability afslører fejl, som standardovervågning overser: dårlige svar
  • OpenTelemetry-spor (og deres Explorer), dommere, datasæt og offline-evalueringer danner forbedringsloopet
  • Mistrals observability er i Private Preview; afsendelse af spor kræver kun en API-nøgle, mens læsning af spor og kørsel af offline-evalueringer kræver en Enterprise-organisation
  • Spor opbevares i 30 dage