Úvod do observability: stopy, hodnotitelia a evaluácie
Na tejto strane
Prepísané 2. novembra 2026 na základe dokumentácie Observability od Mistral a SDK
mistralaiverzie 3.7.0: observability sa teraz spolieha na stopy OpenTelemetry preskúmané v Studio, hodnotiteľov LLM a offline evaluácie (mistralai-evaluations). Rozhrania API „Campaigns“ achat_completion_eventsz predchádzajúcich lekcií už neexistujú. Zdroje: Distributed tracing · Offline evaluations.
Prečo je observability nevyhnutná
Tvoje štandardné dashboardy – latencia, miery chýb, dostupnosť – môžu svietiť na zeleno, zatiaľ čo asistent poskytuje irelevantné odpovede, vymýšľa si postupy alebo mení tón po aktualizácii promptu. LLM v produkcii zriedka zlyhá výnimkou; zlyhá tým, že s istotou poskytne nesprávnu odpoveď. Observability pre LLM robí tieto zlyhania viditeľnými, merateľnými a opraviteľnými.
Tri piliere observability
1. Viditeľnosť – Vidieť, čo sa deje
Každá požiadavka z tvojej aplikácie sa stáva stopou: stromom spanov reprezentujúcich každý krok vykonávania – volanie modelu, volanie nástroja, krok workflow – spolu so vstupom, výstupom, trvaním, počtom tokenov a stavom. Tieto stopy dodržiavajú štandard OpenTelemetry a Explorer v Studio ti umožňuje ich vyhľadávať a skúmať.
2. Signály kvality – Automatické meranie
Ručná kontrola tisícok konverzácií je nemožná. Hodnotitelia sú evaluátory založené na LLM, ktoré nakonfiguruješ raz – s inštrukciami, modelom a formátom výstupu – a následne ich aplikuješ na konverzácie alebo záznamy datasetov, aby si získal štítok alebo skóre.
3. Iteračné cykly – Neustále zlepšovanie
Datasety zhromažďujú testovacie prípady, často čerpané priamo zo skutočných stôp, a offline evaluácie merajú verziu tvojej aplikácie – model, prompt, parametre – proti nim pred nasadením. Porovnávaš verzie, zachováš tú najlepšiu a proces opakuješ.
Štyri komponenty
| Komponent | Úloha | Analógia |
|---|---|---|
| Stopy a Explorer | Zber, vyhľadávanie a kontrola aktivity | APM pre AI |
| Hodnotitelia | Automatické hodnotenie kvality | Neúnavný recenzent |
| Datasety | Ukladanie testovacích prípadov | Sada regresných testov |
| Evaluácie | Meranie verzie proti datasetu | CI pre kvalitu AI |
Predpoklady a stav
Pred začiatkom maj na pamäti tri body:
- Stav: Observability od Mistral je v štádiu Private Preview a jeho integrácia do SDK sa rýchlo mení. Mistral odporúča používať najnovšiu verziu SDK.
- Odosielaanie stôp vyžaduje iba platný API kľúč. Trasovanie je predvolene vypnuté a musí sa povoliť pre každý zdroj (pokryté v ďalšej lekcii).
- Čítanie stôp v Studio vyžaduje organizáciu typu Enterprise a príslušnú rolu (Org Admin, Workspace Admin alebo Observability Viewer). Offline evaluácie a pridávanie spanov do datasetu sú tiež obmedzené na organizácie Enterprise. Stopy sa uchovávajú 30 dní.
Ak tvoja organizácia ešte nemá prístup, táto sekcia je aj tak worth tvojej pozornosti: koncepty – trasovanie, hodnotenie, budovanie testovacích sád a evaluácia pred nasadením – platia pre akýkoľvek nástroj založený na OpenTelemetry.
Typický workflow
Komponenty tvoria súvislý cyklus:
- Trasuj a preskúmavaj – Inštrumentuj svoju aplikáciu a potom pomocou Exploreru identifikuj problematické stopy (chyby, pomalosť, pochybné odpovede).
- Hodnoť – Vytvor hodnotiteľa, ktorý formalizuje príslušné kritérium kvality.
- Vytvor dataset – Preveď skutočné spány na testovacie prípady.
- Evaluuj – Zmeraj aktuálnu verziu a následne každú variantu proti tomuto datasetu.
Každý cyklus ťa približuje k spoľahlivejšiemu a lepšie kalibrovanému systému.
Kľúčové poznatky
- Observability pre LLM odhaľuje zlyhania, ktoré štandardný monitoring prehliada: zlé odpovede.
- Stopy OpenTelemetry (a ich Explorer), hodnotitelia, datasety a offline evaluácie tvoria cyklus zlepšovania.
- Observability od Mistral je v štádiu Private Preview; odosielanie stôp vyžaduje iba API kľúč, zatiaľ čo čítanie stôp a spúšťanie offline evaluácií vyžadujú organizáciu Enterprise.
- Stopy sa uchovávajú 30 dní.