Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Bevezetés a megfigyelhetőségbe: nyomkövetés, bírák és értékelések

11. lecke 16 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. Miért elengedhetetlen a megfigyelhetőség?
  2. A megfigyelhetőség három pillére
  3. A négy komponens
  4. Előfeltételek és státusz
  5. A tipikus munkafolyamat
  6. Főbb megállapítások

Átírva 2026. november 2-án a Mistral Observability dokumentációja és a mistralai SDK 3.7.0 verziója alapján: a megfigyelhetőség mostantól a Studio-ban vizsgálható OpenTelemetry nyomkövetéseken, LLM-alapú bírákon és offline értékeléseken (mistralai-evaluations) alapul. Az előző leckékben szereplő „Campaigns“ és chat_completion_events API már nem létezik. Források: Distributed tracing · Offline evaluations.

Miért elengedhetetlen a megfigyelhetőség?

A szokásos irányítópultjaid – késleltetés, hibaráta, rendelkezésre állás – maradhatnak zöldek akkor is, ha egy asszisztens irreleváns válaszokat ad, eljárásokat talál ki, vagy hangnemet vált egy prompt-frissítés után. Egy éles környezetben futó LLM ritkán dob kivételt; inkább magabiztosan szolgáltat rossz választ. Az LLM-megfigyelhetőség láthatóvá, mérhetővé és javíthatóvá teszi ezeket a hibákat.

A megfigyelhetőség három pillére

1. Láthatóság – Lásd, mi történik

Az alkalmazásod minden egyes kérése egy nyomkövetéssé (trace) válik: ez egy spanokból álló fa, amely az végrehajtás minden lépését reprezentálja – modellhívás, eszközhasználat, munkafolyamat-lépés –, együtt a bemenettel, kimenettel, időtartammal, tokenszámmal és állapottal. Ezek a nyomkövetések az OpenTelemetry szabványt követik, a Studio Explorer eszköze pedig lehetővé teszi azok keresését és vizsgálatát.

2. Minőségi jelek – Automatikus mérés

Ezrek manuális áttekintése lehetetlen. A bírák (judges) LLM-alapú értékelők, amelyeket egyszer konfigurálsz – utasításokkal, egy modellel és egy kimeneti formátummal –, majd beszélgetésekre vagy adathalmaz-felvételekre alkalmazod címkék vagy pontszámok generálásához.

3. Iterációs ciklusok – Folyamatos fejlesztés

Az adathalmazok (datasets) teszteseteket gyűjtenek össze, gyakran valós nyomkövetésekből kinyerve, az offline értékelések pedig az alkalmazás egy verzióját – modellt, promptot, paramétereket – mérik ezekhez képest a telepítés előtt. Összehasonlítod a verziókat, megtartod a legjobbat, és megismétled a folyamatot.

A négy komponens

Komponens Szerep Analógia
Nyomkövetések és Explorer Tevékenység gyűjtése, keresése és vizsgálata APM az AI számára
Bírák Minőség automatikus értékelése Egy fáradhatatlan lektor
Adathalmazok Tesztesetek tárolása Regressziós tesztkészlet
Értékelések Egy verzió mérése egy adathalmazhoz képest CI az AI-minőségért

Előfeltételek és státusz

Mielőtt belevágnál, tartsd szem előtt ezt a három pontot:

  • Státusz: A Mistral megfigyelhetőségi eszközei Private Preview állapotban vannak, és az SDK-integrációjuk gyorsan változik. A Mistral a legfrissebb SDK-verzió használatát javasolja.
  • Nyomkövetések küldése: Ehhez csupán egy érvényes API-kulcs szükséges. A nyomkövetés alapértelmezetten le van tiltva, és forrásonként kell engedélyezni (erre a következő leckében térünk ki).
  • Nyomkövetések olvasása a Studio-ban Enterprise szervezeti felépítést és megfelelő jogosultságot igényel (Szervezeti admin, Munkaterület-admin vagy Megfigyelhetőségi megtekintő). Az offline értékelések és a spanok adathalmazhoz való hozzáadása szintén csak Enterprise szervezetek számára elérhető. A nyomkövetéseket 30 napig őrizzük meg.

Ha szervezeted még nem fér hozzá ezekhez, akkor is érdemes átfutnod ezt a részt: a fogalmak – nyomkövetés, bíráskodás, tesztkészletek építése és telepítés előtti értékelés – bármilyen OpenTelemetry eszközre alkalmazhatók.

A tipikus munkafolyamat

A komponensek egy folyamatos ciklust alkotnak:

  1. Nyomkövetés és felfedezés – Instrumentáld az alkalmazásodat, majd az Explorer segítségével azonosítsd a problémás nyomkövetéseket (hibák, lassúság, kérdéses válaszok).
  2. Bíráskodás – Hozz létre egy bírát, amely formalizálja a releváns minőségi kritériumot.
  3. Adathalmaz építése – Alakíts át valós spanokat tesztesetekké.
  4. Értékelés – Mérd meg az aktuális verziót, majd minden egyes variánst ehhez az adathalmazhoz képest.

Minden ciklus közelebb visz egy megbízhatóbb, jobban kalibrált rendszerhez.

Főbb megállapítások

  • Az LLM-megfigyelhetőség feltárja azokat a hibákat, amelyeket a hagyományos monitorozás elkerül: a rossz válaszokat.
  • Az OpenTelemetry nyomkövetések (és azok Explorer eszköze), a bírák, az adathalmazok és az offline értékelések alkotják a fejlesztési ciklust.
  • A Mistral megfigyelhetősége Private Preview állapotban van; a nyomkövetések küldéséhez csak egy API-kulcs szükséges, míg azok olvasása és az offline értékelések futtatása Enterprise szervezetet igényel.
  • A nyomkövetéseket 30 napig őrizzük meg.