Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Úvod do pozorovatelnosti: stopy, hodnotitelé a evaluace

Lekce 11 z 16 Aktualizováno 2. listopadu 2026 Pokročilý
Na této stránce
  1. Proč je pozorovatelnost nezbytná
  2. Tři pilíře pozorovatelnosti
  3. Čtyři komponenty
  4. Předpoklady a status
  5. Typický workflow
  6. Klíčové poznatky

Přepsáno 2. listopadu 2026 na základě dokumentace Observability od Mistralu a SDK mistralai verze 3.7.0: pozorovatelnost nyní spoléhá na stopy OpenTelemetry prozkoumávané ve Studiu, hodnotitele LLM a offline evaluace (mistralai-evaluations). „Kampaně“ a API chat_completion_events z předchozích lekcí již neexistují. Zdroje: Distribuované trasování · Offline evaluace.

Proč je pozorovatelnost nezbytná

Tvůj běžný dashboard – latence, míra chyb, dostupnost – může svítit zeleně, zatímco tvůj asistent odpovídá irelevantně, vymýšlí si postupy nebo po aktualizaci promptu změní tón. LLM v produkci málokdy selže vyhozením výjimky; selže tím, že s jistotou vrátí špatnou odpověď. Pozorovatelnost LLM tyto selhání činí viditelnými, měřitelnými a opravitelnými.

Tři pilíře pozorovatelnosti

1. Viditelnost – vidět, co se děje

Každý požadavek z tvé aplikace se stane stopou: stromem spanů reprezentujících každý krok执行 – volání modelu, volání nástroje, krok workflow – spolu se vstupem, výstupem, dobou trvání, počtem tokenů a stavem. Tyto stopy dodržují standard OpenTelemetry a Průzkumník (Explorer) ve Studiu ti umožňuje je vyhledávat a zkoumat.

2. Signály kvality – automatické měření

Ruční kontrola tisíců konverzací je nemožná. Hodnotitelé (Judges) jsou evaluátoři založení na LLM, které nakonfiguruješ jednou – pomocí instrukcí, modelu a formátu výstupu – a následně je aplikuješ na konverzace nebo záznamy datasetů, abys získal štítek nebo skóre.

3. Iterační smyčky – neustálé zlepšování

Datasety shromažďují testovací případy, často čerpané přímo ze skutečných stop, a offline evaluace měří verzi tvé aplikace – model, prompt, parametry – proti nim před nasazením. Porovnáváš verze, udržuješ tu nejlepší a proces opakuješ.

Čtyři komponenty

Komponenta Role Analogie
Stopy a Průzkumník Sběr, vyhledávání a inspekce aktivity APM pro AI
Hodnotitelé Automatické hodnocení kvality Neúnavný recenzent
Datasety Ukládání testovacích případů Sada regresních testů
Evaluace Měření verze proti datasetu CI pro kvalitu AI

Předpoklady a status

Než začneš, měj na paměti tři body:

  • Status: Pozorovatelnost od Mistralu je ve fázi Private Preview a její integrace do SDK se rychle mění. Mistral doporučuje používat nejnovější verzi SDK.
  • Odesílání stop vyžaduje pouze platný API klíč. Trasování je ve výchozím nastavení vypnuté a musí být povoleno pro každý zdroj samostatně (pokryto v další lekci).
  • Čtení stop ve Studiu vyžaduje organizaci typu Enterprise a odpovídající roli (Správce organizace, Správce pracovního prostoru nebo Prohlížeč pozorovatelnosti). Offline evaluace a přidávání spanů do datasetu jsou také omezeny na organizace Enterprise. Stopy jsou uchovávány po dobu 30 dnů.

Pokud tvá organizace ještě nemá přístup, tato sekce je přesto hodnotná tvého času: koncepty – trasování, hodnocení, budování testovacích sad a evaluace před nasazením – platí pro jakékoli nástroje OpenTelemetry.

Typický workflow

Komponenty tvoří nepřetržitou smyčku:

  1. Trasuj a prozkoumávej – Instrumentuj svou aplikaci a poté pomocí Průzkumníka identifikuj problematické stopy (chyby, pomalost, pochybné odpovědi).
  2. Hodnoť – Vytvoř hodnotitele, který formalizuje příslušné kritérium kvality.
  3. Vytvoř dataset – Přeměň skutečné spány na testovací případy.
  4. Evaluuj – Změř proti tomuto datasetu aktuální verzi a následně každou variantu.

Každý cyklus tě přiblíží k spolehlivějšímu a lépe vyladěnému systému.

Klíčové poznatky

  • Pozorovatelnost LLM odhaluje selhání, která běžný monitoring přehlíží: špatné odpovědi.
  • Stopy OpenTelemetry (a jejich Průzkumník), hodnotitelé, datasety a offline evaluace tvoří smyčku zlepšování.
  • Pozorovatelnost Mistralu je v režimu Private Preview; odesílání stop vyžaduje pouze API klíč, zatímco čtení stop a spouštění offline evaluací vyžadují organizaci Enterprise.
  • Stopy jsou uchovávány po dobu 30 dnů.