Przejdź do głównej treści
Polski— Wybierz język
Menu

Potok end-to-end: ślady, sędziowie, zbiory danych, ewaluacje

Lekcja 16 z 16 Zaktualizowano 2 listopada 2026 Zaawansowany
Na tej stronie
  1. Kompleksowy przepływ pracy w zakresie obserwowalności
  2. Implementacja w Pythonie
  3. Podsumowanie kursu
  4. Zalecane kolejne kroki
  5. Kluczowe wnioski
  6. Sprawdź swoją wiedzę

Lekcja przepisana 2 listopada 2026 r. na podstawie dokumentacji Observability firmy Mistral oraz SDK mistralai w wersji 3.7.0: potok łączy teraz ślady, sędziów, zbiory danych i ewaluacje offline. Funkcja „Campaigns“ oraz metody chat_completion_events.search, campaigns.* i import_from_explorer z poprzedniej wersji już nie istnieją. Źródła: Przeglądaj ślady · Ewaluacje offline.

Kompleksowy przepływ pracy w zakresie obserwowalności

Opanowałeś już każdy element stosu obserwowalności Mistral. Ta ostatnia lekcja scala te elementy w kompletny potok, który możesz odtworzyć i dostosować do swojego środowiska produkcyjnego.

1

Śledź i przeglądaj

Włącz telemetrię, a następnie przefiltruj ślady z ostatnich 7 dni w Eksploratorze: błędy, powolne odpowiedzi, podejrzane reakcje. Zanotuj wyrażenie wyszukiwania.

2

Oceń (Judge)

Sformalizuj sporne kryterium jakości jako sędziego (klasyfikacja lub regresja), zwalidowanego na 10–20 znanych przypadkach.

3

Zbuduj zbiór danych

Przekształć problematyczne segmenty (spans) w rekordy, z ręcznie skorygowanym oczekiwanym wynikiem.

4

Ewaluuj

Zmierz wydajność bieżącej wersji, a następnie każdej wariantu względem tego zbioru danych, z celami PASS/FAIL.

5

Iteruj

Wdróż zwycięski wariant, zachowaj zbiór danych jako zabezpieczenie przed regresją i powtarzaj proces.

Implementacja w Pythonie

Poniższy skrypt automatyzuje kroki 1, 3 i 4; sędzia dla kroku 2 jest tworzony jednokrotnie, tak jak w Lekcji 13. Współistnieją dwaj klienci: klient SDK mistralai do obsługi śladów i zbiorów danych oraz klient mistralai-evaluations do ewaluacji.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Zidentyfikuj nieudane ślady z ostatniego tygodnia
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Dodaj ręcznie przejrzane i skorygowane przypadki do zbioru danych
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Ewaluuj wersję kandydującą (zadanie i dokładność: zob. Lekcja 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Uruchamiany co tydzień skrypt ten powiększa zbiór danych zabezpieczający przed regresją o rzeczywiste incydenty, a każda wersja kandydująca musi spełnić swoje cele na tym zbiorze przed wdrożeniem.

Podsumowanie kursu

Kurs ten poprowadził Cię przez cztery kluczowe obszary produkcji AI z wykorzystaniem Mistral:

Wnioskowanie wsadowe (Lekcje 1–4)

Wiesz, jak przetwarzać miliony żądań przy obniżonych kosztach, używając formatu JSONL, wsadowania plików i wsadowania inline.

Przewidywane wyniki (Lekcje 5–7)

Wiesz, jak zmniejszyć opóźnienia generowania, dostarczając przewidywanie wyniku, szczególnie w przypadku kodu i edycji tekstu.

Cytaty i odniesienia (Lekcje 8–10)

Wiesz, jak osadzać odpowiedzi LLM w zweryfikowanych źródłach, parsować cytaty i budować niezawodne potoki RAG.

Obserwowalność (Lekcje 11–16)

Wiesz, jak śledzić swoją aplikację za pomocą OpenTelemetry, przeglądać ślady produkcyjne, automatyzować ocenę jakości za pomocą sędziów, budować zbiory danych i mierzyć każdą wersję poprzez ewaluacje offline.

Zalecane kolejne kroki

Najlepszym sposobem na utrwalenie tych umiejętności jest zastosowanie ich w kolejności, która przyniesie największe korzyści Twojemu środowisku produkcyjnemu. Zacznij od wdrożenia potoku wsadowego na konkretnym przypadku użycia w Twojej organizacji – miesięcznej klasyfikacji, wzbogacenia katalogu – ponieważ jest to najszybszy zysk do zademonstrowania. Następnie zintegruj Przewidywane Wyniki wszędzie tam, gdzie Twoje narzędzia edytują istniejący kod lub dokumenty: zysk na wydajności jest mierzalny w ciągu kilku dni. Dodaj cytaty do swojego systemu RAG tak szybko, jak użytkownicy zaczną polegać na jego odpowiedziach przy podejmowaniu decyzji. Na koniec, obserwowalność zaczyna się od wysyłania śladów, co jest możliwe przy użyciu prostego klucza API; Eksplorator i ewaluacje offline wymagają organizacji w planie Enterprise. To właśnie poziom Enterprise przekształci pierwsze trzy inicjatywy w pętłę ciągłego doskonalenia, a nie jednorazowe wdrożenia.

Kluczowe wnioski

  • Potok podąża za pętlą: śledź i przeglądaj, oceń (judge), zbuduj zbiór danych, ewaluuj, iteruj
  • Każdy incydent produkcyjny może stać się przypadkiem testowym, a każda wersja kandydująca musi spełnić swoje cele
  • Automatyzuj pętlę za pomocą SDK (traces.search, datasets.create_record, evaluation.run) i uruchamiaj ją w regularnych odstępach czasu
  • Cztery obszary tego kursu (wsady, przewidywane wyniki, cytaty, obserwowalność) uzupełniają się nawzajem, zapewniając solidną produkcję AI

Sprawdź swoją wiedzę

Wsady, opóźnienia, cytaty, obserwowalność: cztery filary produkcji.

1. Kiedy wnioskowanie wsadowe (Batch Inference) jest właściwym wyborem?

Odpowiedź: Przy dużych wolumenach bez wymogów czasu rzeczywistego: asynchroniczne zadania JSONL (lub inline do 10 tys. żądań) przy obniżonym koszcie – klasyfikacja, wzbogacanie, generowanie masowe.

2. Czym są Przewidywane Wyniki (Predicted Outputs)?

Odpowiedź: To przyspieszenie, gdy odpowiedź jest w dużej mierze przewidywalna (edycja istniejącego tekstu, szablony): dostarczasz przewidywanie, a model „płaci“ tylko za różnice – opóźnienia spadają znacząco.

3. Co umożliwiają cytaty z Obiektem Odniesienia (Reference Object)?

Odpowiedź: Powiązanie każdego stwierdzenia w odpowiedzi z jego źródłami w RAG: weryfikowalne odpowiedzi, zmniejszenie halucynacji – zaufanie staje się cechą produktu.

4. Co robisz w Eksploratorze?

Odpowiedź: Wyszukujesz i inspectujesz ślady produkcyjne – używając języka wyrażeń na service_name, status_code, duration_ns lub atrybutach segmentu – aby znaleźć problematyczne żądania, a następnie przekształcić je w przypadki testowe: surowiec do wszelkich ulepszeń.

5. Jak współdziałają sędziowie, zbiory danych i ewaluacje?

Odpowiedź: Sędziowie oceniają automatycznie (LLM-as-judge), zbiory danych gromadzą przypadki testowe pochodzące z produkcji, a ewaluacje offline mierzą każdą wersję względem tych zbiorów z celami PASS/FAIL – pętla ślad → sędzia → budowa → ewaluacja.

Końcowy potok kursu łączy wszystkie cztery elementy: produkuj ekonomicznie, odpowiadaj szybko, źródłuj odpowiedzi, obserwuj – dojrzała produkcja w jednym przepływie pracy.