Wprowadzenie do obserwowalności: ślady, sędziowie i ewaluacje
Na tej stronie
Przepisano 2 listopada 2026 r. na podstawie dokumentacji Observability firmy Mistral oraz SDK
mistralaiw wersji 3.7.0: obserwowalność opiera się obecnie na śladach OpenTelemetry przeglądanych w Studio, sędziach LLM oraz ewaluacjach offline (mistralai-evaluations). Funkcje „Campaigns“ i APIchat_completion_eventsz poprzednich lekcji nie istnieją już. Źródła: Distributed tracing · Offline evaluations.
Dlaczego obserwowalność jest niezbędna
Twoje standardowe panele – czas odpowiedzi, wskaźniki błędów, dostępność – mogą świecić się na zielono, podczas gdy asystent udziela nieistotnych odpowiedzi, zmyśla procedury lub zmienia ton po aktualizacji promptu. LLM w środowisku produkcyjnym rzadko zawodzi poprzez rzucenie wyjątku; zawodzi, serwując błędną odpowiedź z pełnym przekonaniem. Obserwowalność LLM sprawia, że takie awarie stają się widoczne, mierzalne i możliwe do naprawienia.
Trzy filary obserwowalności
1. Widoczność – zobacz, co się dzieje
Każde żądanie z Twojej aplikacji staje się śladowem: drzewem spanów reprezentujących każdy krok wykonania – wywołanie modelu, wywołanie narzędzia, krok przepływu pracy – wraz z danymi wejściowymi, wyjściowymi, czasem trwania, liczbą tokenów i statusem. Ślady te遵循ują standard OpenTelemetry, a Eksplorator w Studio pozwala ich wyszukiwać i analizować.
2. Sygnały jakości – automatyczny pomiar
Ręczne przeglądanie tysięcy rozmów jest niemożliwe. Sędziowie to ewaluatory oparte na LLM, które konfigurujesz raz – definiując instrukcje, model i format wyjścia – a następnie stosujesz do rozmów lub nagrań zbiorów danych, aby uzyskać etykietę lub wynik.
3. Pętle iteracji – ciągła poprawa
Zbiory danych gromadzą przypadki testowe, często pobierane z rzeczywistych śladów, a ewaluacje offline mierzą wersję Twojej aplikacji – model, prompt, parametry – przeciwko nim przed wdrożeniem. Porównujesz wersje, zachowujesz najlepszą i powtarzasz proces.
Cztery komponenty
| Komponent | Rola | Analogia |
|---|---|---|
| Ślady i Eksplorator | Gromadzenie, wyszukiwanie i inspekcja aktywności | APM dla AI |
| Sędziowie | Automatyczna ocena jakości | Nieznużony recenzent |
| Zbiory danych | Przechowywanie przypadków testowych | Zestaw testów regresyjnych |
| Ewaluacje | Pomiar wersji względem zbioru danych | CI dla jakości AI |
Wymagania wstępne i status
Zanim zaczniesz, miej na uwadze trzy kwestie:
- Status: Obserwowalność Mistral znajduje się w fazie Private Preview, a jej integracja z SDK szybko się zmienia. Mistral zaleca używanie najnowszej wersji SDK.
- Wysyłanie śladów wymaga jedynie ważnego klucza API. Śledzenie jest domyślnie wyłączone i musi zostać włączone dla każdego źródła z osobna (omówione w następnej lekcji).
- Odczytywanie śladów w Studio wymaga organizacji typu Enterprise i odpowiedniej roli (Org Admin, Workspace Admin lub Observability Viewer). Ewaluacje offline i dodawanie spanów do zbioru danych są również ograniczone do organizacji Enterprise. Ślady są przechowywane przez 30 dni.
Jeśli Twoja organizacja nie ma jeszcze dostępu, ta sekcja nadal warto Twojego czasu: koncepcje – śledzenie, ocenianie, budowanie zestawów testowych i ewaluacja przed wdrożeniem – mają zastosowanie do dowolnych narzędzi OpenTelemetry.
Typowy przepływ pracy
Komponenty tworzą ciągłą pętlę:
- Śledź i eksploruj – zinstrumentuj swoją aplikację, a następnie użyj Eksploratora, aby wykryć problematyczne ślady (błędy, powolność, wątpliwe odpowiedzi)
- Oceń – stwórz sędziego, który formalizuje odpowiednie kryterium jakości
- Zbuduj zbiór danych – przekształć rzeczywiste spany w przypadki testowe
- Ewaluuj – zmierz bieżącą wersję, a następnie każdą jej wariant, przeciwko temu zbiorowi danych
Każdy cykl przybliża Cię do bardziej niezawodnego i lepiej skalibrowanego systemu.
Kluczowe wnioski
- Obserwowalność LLM ujawnia awarie, które pomija standardowy monitoring: błędne odpowiedzi
- Ślady OpenTelemetry (i ich Eksplorator), sędziowie, zbiory danych oraz ewaluacje offline tworzą pętlę doskonalenia
- Obserwowalność Mistral jest w fazie Private Preview; wysyłanie śladów wymaga jedynie klucza API, podczas gdy odczytywanie śladów i uruchamianie ewaluacji offline wymagają organizacji Enterprise
- Ślady są przechowywane przez 30 dni