Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Úvod do observability: stopy, hodnotitelia a evaluácie

Lekcia 11 z 16 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Prečo je observability nevyhnutná
  2. Tri piliere observability
  3. Štyri komponenty
  4. Predpoklady a stav
  5. Typický workflow
  6. Kľúčové poznatky

Prepísané 2. novembra 2026 na základe dokumentácie Observability od Mistral a SDK mistralai verzie 3.7.0: observability sa teraz spolieha na stopy OpenTelemetry preskúmané v Studio, hodnotiteľov LLM a offline evaluácie (mistralai-evaluations). Rozhrania API „Campaigns“ a chat_completion_events z predchádzajúcich lekcií už neexistujú. Zdroje: Distributed tracing · Offline evaluations.

Prečo je observability nevyhnutná

Tvoje štandardné dashboardy – latencia, miery chýb, dostupnosť – môžu svietiť na zeleno, zatiaľ čo asistent poskytuje irelevantné odpovede, vymýšľa si postupy alebo mení tón po aktualizácii promptu. LLM v produkcii zriedka zlyhá výnimkou; zlyhá tým, že s istotou poskytne nesprávnu odpoveď. Observability pre LLM robí tieto zlyhania viditeľnými, merateľnými a opraviteľnými.

Tri piliere observability

1. Viditeľnosť – Vidieť, čo sa deje

Každá požiadavka z tvojej aplikácie sa stáva stopou: stromom spanov reprezentujúcich každý krok vykonávania – volanie modelu, volanie nástroja, krok workflow – spolu so vstupom, výstupom, trvaním, počtom tokenov a stavom. Tieto stopy dodržiavajú štandard OpenTelemetry a Explorer v Studio ti umožňuje ich vyhľadávať a skúmať.

2. Signály kvality – Automatické meranie

Ručná kontrola tisícok konverzácií je nemožná. Hodnotitelia sú evaluátory založené na LLM, ktoré nakonfiguruješ raz – s inštrukciami, modelom a formátom výstupu – a následne ich aplikuješ na konverzácie alebo záznamy datasetov, aby si získal štítok alebo skóre.

3. Iteračné cykly – Neustále zlepšovanie

Datasety zhromažďujú testovacie prípady, často čerpané priamo zo skutočných stôp, a offline evaluácie merajú verziu tvojej aplikácie – model, prompt, parametre – proti nim pred nasadením. Porovnávaš verzie, zachováš tú najlepšiu a proces opakuješ.

Štyri komponenty

Komponent Úloha Analógia
Stopy a Explorer Zber, vyhľadávanie a kontrola aktivity APM pre AI
Hodnotitelia Automatické hodnotenie kvality Neúnavný recenzent
Datasety Ukladanie testovacích prípadov Sada regresných testov
Evaluácie Meranie verzie proti datasetu CI pre kvalitu AI

Predpoklady a stav

Pred začiatkom maj na pamäti tri body:

  • Stav: Observability od Mistral je v štádiu Private Preview a jeho integrácia do SDK sa rýchlo mení. Mistral odporúča používať najnovšiu verziu SDK.
  • Odosielaanie stôp vyžaduje iba platný API kľúč. Trasovanie je predvolene vypnuté a musí sa povoliť pre každý zdroj (pokryté v ďalšej lekcii).
  • Čítanie stôp v Studio vyžaduje organizáciu typu Enterprise a príslušnú rolu (Org Admin, Workspace Admin alebo Observability Viewer). Offline evaluácie a pridávanie spanov do datasetu sú tiež obmedzené na organizácie Enterprise. Stopy sa uchovávajú 30 dní.

Ak tvoja organizácia ešte nemá prístup, táto sekcia je aj tak worth tvojej pozornosti: koncepty – trasovanie, hodnotenie, budovanie testovacích sád a evaluácia pred nasadením – platia pre akýkoľvek nástroj založený na OpenTelemetry.

Typický workflow

Komponenty tvoria súvislý cyklus:

  1. Trasuj a preskúmavaj – Inštrumentuj svoju aplikáciu a potom pomocou Exploreru identifikuj problematické stopy (chyby, pomalosť, pochybné odpovede).
  2. Hodnoť – Vytvor hodnotiteľa, ktorý formalizuje príslušné kritérium kvality.
  3. Vytvor dataset – Preveď skutočné spány na testovacie prípady.
  4. Evaluuj – Zmeraj aktuálnu verziu a následne každú variantu proti tomuto datasetu.

Každý cyklus ťa približuje k spoľahlivejšiemu a lepšie kalibrovanému systému.

Kľúčové poznatky

  • Observability pre LLM odhaľuje zlyhania, ktoré štandardný monitoring prehliada: zlé odpovede.
  • Stopy OpenTelemetry (a ich Explorer), hodnotitelia, datasety a offline evaluácie tvoria cyklus zlepšovania.
  • Observability od Mistral je v štádiu Private Preview; odosielanie stôp vyžaduje iba API kľúč, zatiaľ čo čítanie stôp a spúšťanie offline evaluácií vyžadujú organizáciu Enterprise.
  • Stopy sa uchovávajú 30 dní.