Úvod do pozorovatelnosti: stopy, hodnotitelé a evaluace
Na této stránce
Přepsáno 2. listopadu 2026 na základě dokumentace Observability od Mistralu a SDK
mistralaiverze 3.7.0: pozorovatelnost nyní spoléhá na stopy OpenTelemetry prozkoumávané ve Studiu, hodnotitele LLM a offline evaluace (mistralai-evaluations). „Kampaně“ a APIchat_completion_eventsz předchozích lekcí již neexistují. Zdroje: Distribuované trasování · Offline evaluace.
Proč je pozorovatelnost nezbytná
Tvůj běžný dashboard – latence, míra chyb, dostupnost – může svítit zeleně, zatímco tvůj asistent odpovídá irelevantně, vymýšlí si postupy nebo po aktualizaci promptu změní tón. LLM v produkci málokdy selže vyhozením výjimky; selže tím, že s jistotou vrátí špatnou odpověď. Pozorovatelnost LLM tyto selhání činí viditelnými, měřitelnými a opravitelnými.
Tři pilíře pozorovatelnosti
1. Viditelnost – vidět, co se děje
Každý požadavek z tvé aplikace se stane stopou: stromem spanů reprezentujících každý krok执行 – volání modelu, volání nástroje, krok workflow – spolu se vstupem, výstupem, dobou trvání, počtem tokenů a stavem. Tyto stopy dodržují standard OpenTelemetry a Průzkumník (Explorer) ve Studiu ti umožňuje je vyhledávat a zkoumat.
2. Signály kvality – automatické měření
Ruční kontrola tisíců konverzací je nemožná. Hodnotitelé (Judges) jsou evaluátoři založení na LLM, které nakonfiguruješ jednou – pomocí instrukcí, modelu a formátu výstupu – a následně je aplikuješ na konverzace nebo záznamy datasetů, abys získal štítek nebo skóre.
3. Iterační smyčky – neustálé zlepšování
Datasety shromažďují testovací případy, často čerpané přímo ze skutečných stop, a offline evaluace měří verzi tvé aplikace – model, prompt, parametry – proti nim před nasazením. Porovnáváš verze, udržuješ tu nejlepší a proces opakuješ.
Čtyři komponenty
| Komponenta | Role | Analogie |
|---|---|---|
| Stopy a Průzkumník | Sběr, vyhledávání a inspekce aktivity | APM pro AI |
| Hodnotitelé | Automatické hodnocení kvality | Neúnavný recenzent |
| Datasety | Ukládání testovacích případů | Sada regresních testů |
| Evaluace | Měření verze proti datasetu | CI pro kvalitu AI |
Předpoklady a status
Než začneš, měj na paměti tři body:
- Status: Pozorovatelnost od Mistralu je ve fázi Private Preview a její integrace do SDK se rychle mění. Mistral doporučuje používat nejnovější verzi SDK.
- Odesílání stop vyžaduje pouze platný API klíč. Trasování je ve výchozím nastavení vypnuté a musí být povoleno pro každý zdroj samostatně (pokryto v další lekci).
- Čtení stop ve Studiu vyžaduje organizaci typu Enterprise a odpovídající roli (Správce organizace, Správce pracovního prostoru nebo Prohlížeč pozorovatelnosti). Offline evaluace a přidávání spanů do datasetu jsou také omezeny na organizace Enterprise. Stopy jsou uchovávány po dobu 30 dnů.
Pokud tvá organizace ještě nemá přístup, tato sekce je přesto hodnotná tvého času: koncepty – trasování, hodnocení, budování testovacích sad a evaluace před nasazením – platí pro jakékoli nástroje OpenTelemetry.
Typický workflow
Komponenty tvoří nepřetržitou smyčku:
- Trasuj a prozkoumávej – Instrumentuj svou aplikaci a poté pomocí Průzkumníka identifikuj problematické stopy (chyby, pomalost, pochybné odpovědi).
- Hodnoť – Vytvoř hodnotitele, který formalizuje příslušné kritérium kvality.
- Vytvoř dataset – Přeměň skutečné spány na testovací případy.
- Evaluuj – Změř proti tomuto datasetu aktuální verzi a následně každou variantu.
Každý cyklus tě přiblíží k spolehlivějšímu a lépe vyladěnému systému.
Klíčové poznatky
- Pozorovatelnost LLM odhaluje selhání, která běžný monitoring přehlíží: špatné odpovědi.
- Stopy OpenTelemetry (a jejich Průzkumník), hodnotitelé, datasety a offline evaluace tvoří smyčku zlepšování.
- Pozorovatelnost Mistralu je v režimu Private Preview; odesílání stop vyžaduje pouze API klíč, zatímco čtení stop a spouštění offline evaluací vyžadují organizaci Enterprise.
- Stopy jsou uchovávány po dobu 30 dnů.