Przejdź do głównej treści
Polski— Wybierz język
Menu

Wprowadzenie do obserwowalności: ślady, sędziowie i ewaluacje

Lekcja 11 z 16 Zaktualizowano 2 listopada 2026 Zaawansowany
Na tej stronie
  1. Dlaczego obserwowalność jest niezbędna
  2. Trzy filary obserwowalności
  3. Cztery komponenty
  4. Wymagania wstępne i status
  5. Typowy przepływ pracy
  6. Kluczowe wnioski

Przepisano 2 listopada 2026 r. na podstawie dokumentacji Observability firmy Mistral oraz SDK mistralai w wersji 3.7.0: obserwowalność opiera się obecnie na śladach OpenTelemetry przeglądanych w Studio, sędziach LLM oraz ewaluacjach offline (mistralai-evaluations). Funkcje „Campaigns“ i API chat_completion_events z poprzednich lekcji nie istnieją już. Źródła: Distributed tracing · Offline evaluations.

Dlaczego obserwowalność jest niezbędna

Twoje standardowe panele – czas odpowiedzi, wskaźniki błędów, dostępność – mogą świecić się na zielono, podczas gdy asystent udziela nieistotnych odpowiedzi, zmyśla procedury lub zmienia ton po aktualizacji promptu. LLM w środowisku produkcyjnym rzadko zawodzi poprzez rzucenie wyjątku; zawodzi, serwując błędną odpowiedź z pełnym przekonaniem. Obserwowalność LLM sprawia, że takie awarie stają się widoczne, mierzalne i możliwe do naprawienia.

Trzy filary obserwowalności

1. Widoczność – zobacz, co się dzieje

Każde żądanie z Twojej aplikacji staje się śladowem: drzewem spanów reprezentujących każdy krok wykonania – wywołanie modelu, wywołanie narzędzia, krok przepływu pracy – wraz z danymi wejściowymi, wyjściowymi, czasem trwania, liczbą tokenów i statusem. Ślady te遵循ują standard OpenTelemetry, a Eksplorator w Studio pozwala ich wyszukiwać i analizować.

2. Sygnały jakości – automatyczny pomiar

Ręczne przeglądanie tysięcy rozmów jest niemożliwe. Sędziowie to ewaluatory oparte na LLM, które konfigurujesz raz – definiując instrukcje, model i format wyjścia – a następnie stosujesz do rozmów lub nagrań zbiorów danych, aby uzyskać etykietę lub wynik.

3. Pętle iteracji – ciągła poprawa

Zbiory danych gromadzą przypadki testowe, często pobierane z rzeczywistych śladów, a ewaluacje offline mierzą wersję Twojej aplikacji – model, prompt, parametry – przeciwko nim przed wdrożeniem. Porównujesz wersje, zachowujesz najlepszą i powtarzasz proces.

Cztery komponenty

Komponent Rola Analogia
Ślady i Eksplorator Gromadzenie, wyszukiwanie i inspekcja aktywności APM dla AI
Sędziowie Automatyczna ocena jakości Nieznużony recenzent
Zbiory danych Przechowywanie przypadków testowych Zestaw testów regresyjnych
Ewaluacje Pomiar wersji względem zbioru danych CI dla jakości AI

Wymagania wstępne i status

Zanim zaczniesz, miej na uwadze trzy kwestie:

  • Status: Obserwowalność Mistral znajduje się w fazie Private Preview, a jej integracja z SDK szybko się zmienia. Mistral zaleca używanie najnowszej wersji SDK.
  • Wysyłanie śladów wymaga jedynie ważnego klucza API. Śledzenie jest domyślnie wyłączone i musi zostać włączone dla każdego źródła z osobna (omówione w następnej lekcji).
  • Odczytywanie śladów w Studio wymaga organizacji typu Enterprise i odpowiedniej roli (Org Admin, Workspace Admin lub Observability Viewer). Ewaluacje offline i dodawanie spanów do zbioru danych są również ograniczone do organizacji Enterprise. Ślady są przechowywane przez 30 dni.

Jeśli Twoja organizacja nie ma jeszcze dostępu, ta sekcja nadal warto Twojego czasu: koncepcje – śledzenie, ocenianie, budowanie zestawów testowych i ewaluacja przed wdrożeniem – mają zastosowanie do dowolnych narzędzi OpenTelemetry.

Typowy przepływ pracy

Komponenty tworzą ciągłą pętlę:

  1. Śledź i eksploruj – zinstrumentuj swoją aplikację, a następnie użyj Eksploratora, aby wykryć problematyczne ślady (błędy, powolność, wątpliwe odpowiedzi)
  2. Oceń – stwórz sędziego, który formalizuje odpowiednie kryterium jakości
  3. Zbuduj zbiór danych – przekształć rzeczywiste spany w przypadki testowe
  4. Ewaluuj – zmierz bieżącą wersję, a następnie każdą jej wariant, przeciwko temu zbiorowi danych

Każdy cykl przybliża Cię do bardziej niezawodnego i lepiej skalibrowanego systemu.

Kluczowe wnioski

  • Obserwowalność LLM ujawnia awarie, które pomija standardowy monitoring: błędne odpowiedzi
  • Ślady OpenTelemetry (i ich Eksplorator), sędziowie, zbiory danych oraz ewaluacje offline tworzą pętlę doskonalenia
  • Obserwowalność Mistral jest w fazie Private Preview; wysyłanie śladów wymaga jedynie klucza API, podczas gdy odczytywanie śladów i uruchamianie ewaluacji offline wymagają organizacji Enterprise
  • Ślady są przechowywane przez 30 dni