Bevezetés a megfigyelhetőségbe: nyomkövetés, bírák és értékelések
Ezen az oldalon
Átírva 2026. november 2-án a Mistral Observability dokumentációja és a
mistralaiSDK 3.7.0 verziója alapján: a megfigyelhetőség mostantól a Studio-ban vizsgálható OpenTelemetry nyomkövetéseken, LLM-alapú bírákon és offline értékeléseken (mistralai-evaluations) alapul. Az előző leckékben szereplő „Campaigns“ éschat_completion_eventsAPI már nem létezik. Források: Distributed tracing · Offline evaluations.
Miért elengedhetetlen a megfigyelhetőség?
A szokásos irányítópultjaid – késleltetés, hibaráta, rendelkezésre állás – maradhatnak zöldek akkor is, ha egy asszisztens irreleváns válaszokat ad, eljárásokat talál ki, vagy hangnemet vált egy prompt-frissítés után. Egy éles környezetben futó LLM ritkán dob kivételt; inkább magabiztosan szolgáltat rossz választ. Az LLM-megfigyelhetőség láthatóvá, mérhetővé és javíthatóvá teszi ezeket a hibákat.
A megfigyelhetőség három pillére
1. Láthatóság – Lásd, mi történik
Az alkalmazásod minden egyes kérése egy nyomkövetéssé (trace) válik: ez egy spanokból álló fa, amely az végrehajtás minden lépését reprezentálja – modellhívás, eszközhasználat, munkafolyamat-lépés –, együtt a bemenettel, kimenettel, időtartammal, tokenszámmal és állapottal. Ezek a nyomkövetések az OpenTelemetry szabványt követik, a Studio Explorer eszköze pedig lehetővé teszi azok keresését és vizsgálatát.
2. Minőségi jelek – Automatikus mérés
Ezrek manuális áttekintése lehetetlen. A bírák (judges) LLM-alapú értékelők, amelyeket egyszer konfigurálsz – utasításokkal, egy modellel és egy kimeneti formátummal –, majd beszélgetésekre vagy adathalmaz-felvételekre alkalmazod címkék vagy pontszámok generálásához.
3. Iterációs ciklusok – Folyamatos fejlesztés
Az adathalmazok (datasets) teszteseteket gyűjtenek össze, gyakran valós nyomkövetésekből kinyerve, az offline értékelések pedig az alkalmazás egy verzióját – modellt, promptot, paramétereket – mérik ezekhez képest a telepítés előtt. Összehasonlítod a verziókat, megtartod a legjobbat, és megismétled a folyamatot.
A négy komponens
| Komponens | Szerep | Analógia |
|---|---|---|
| Nyomkövetések és Explorer | Tevékenység gyűjtése, keresése és vizsgálata | APM az AI számára |
| Bírák | Minőség automatikus értékelése | Egy fáradhatatlan lektor |
| Adathalmazok | Tesztesetek tárolása | Regressziós tesztkészlet |
| Értékelések | Egy verzió mérése egy adathalmazhoz képest | CI az AI-minőségért |
Előfeltételek és státusz
Mielőtt belevágnál, tartsd szem előtt ezt a három pontot:
- Státusz: A Mistral megfigyelhetőségi eszközei Private Preview állapotban vannak, és az SDK-integrációjuk gyorsan változik. A Mistral a legfrissebb SDK-verzió használatát javasolja.
- Nyomkövetések küldése: Ehhez csupán egy érvényes API-kulcs szükséges. A nyomkövetés alapértelmezetten le van tiltva, és forrásonként kell engedélyezni (erre a következő leckében térünk ki).
- Nyomkövetések olvasása a Studio-ban Enterprise szervezeti felépítést és megfelelő jogosultságot igényel (Szervezeti admin, Munkaterület-admin vagy Megfigyelhetőségi megtekintő). Az offline értékelések és a spanok adathalmazhoz való hozzáadása szintén csak Enterprise szervezetek számára elérhető. A nyomkövetéseket 30 napig őrizzük meg.
Ha szervezeted még nem fér hozzá ezekhez, akkor is érdemes átfutnod ezt a részt: a fogalmak – nyomkövetés, bíráskodás, tesztkészletek építése és telepítés előtti értékelés – bármilyen OpenTelemetry eszközre alkalmazhatók.
A tipikus munkafolyamat
A komponensek egy folyamatos ciklust alkotnak:
- Nyomkövetés és felfedezés – Instrumentáld az alkalmazásodat, majd az Explorer segítségével azonosítsd a problémás nyomkövetéseket (hibák, lassúság, kérdéses válaszok).
- Bíráskodás – Hozz létre egy bírát, amely formalizálja a releváns minőségi kritériumot.
- Adathalmaz építése – Alakíts át valós spanokat tesztesetekké.
- Értékelés – Mérd meg az aktuális verziót, majd minden egyes variánst ehhez az adathalmazhoz képest.
Minden ciklus közelebb visz egy megbízhatóbb, jobban kalibrált rendszerhez.
Főbb megállapítások
- Az LLM-megfigyelhetőség feltárja azokat a hibákat, amelyeket a hagyományos monitorozás elkerül: a rossz válaszokat.
- Az OpenTelemetry nyomkövetések (és azok Explorer eszköze), a bírák, az adathalmazok és az offline értékelések alkotják a fejlesztési ciklust.
- A Mistral megfigyelhetősége Private Preview állapotban van; a nyomkövetések küldéséhez csak egy API-kulcs szükséges, míg azok olvasása és az offline értékelések futtatása Enterprise szervezetet igényel.
- A nyomkövetéseket 30 napig őrizzük meg.