Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Kompletní pipeline: stopy, hodnotitelé, datové sady, evaluace

Lekce 16 z 16 Aktualizováno 2. listopadu 2026 Pokročilý
Na této stránce
  1. Kompletní workflow pozorovatelnosti
  2. Implementace v Pythonu
  3. Shrnutí kurzu
  4. Doporučené další kroky
  5. Klíčové poznatky
  6. Ověř si své znalosti

Lekce přepracována 2. listopadu 2026 na základě dokumentace Observability od Mistralu a SDK mistralai verze 3.7.0: pipeline nyní řetězí stopy, hodnotitele, datové sady a offline evaluace. Funkce „Campaigns“ a metody chat_completion_events.search, campaigns.* a import_from_explorer z předchozí verze již neexistují. Zdroje: Procházet stopy · Offline evaluace.

Kompletní workflow pozorovatelnosti

Nyní už ovládáš každou komponentu stacku pozorovatelnosti od Mistralu. Tato závěrečná lekce poskládá dílky do kompletního pipeline, které můžeš reprodukovat a přizpůsobit svému produkčnímu prostředí.

1

Stopa a průzkum

Povol telemetrii a poté v Exploreru filtruj stopy z posledních 7 dní: chyby, pomalé odezvy, podezřelé odpovědi. Poznamenej si vyhledávací výraz.

2

Hodnotitel

Formalizuj sporné kritérium kvality do podoby hodnotitele (klasifikace nebo regrese) a ověř ho na 10 až 20 známých případech.

3

Vytvoř datovou sadu

Převeď problematické spány (spans) na záznamy s ručně opraveným očekávaným výstupem.

4

Evaluuj

Změř aktuální verzi a následně každou variantu proti této datové sadě s cíli typu PASS/FAIL.

5

Iteruj

Nasaď vítěznou variantu, udržuj datovou sadu jako pojistku proti regresi a celý proces opakuj.

Implementace v Pythonu

Níže uvedený skript automatizuje kroky 1, 3 a 4; hodnotitel pro krok 2 se vytvoří jednou, stejně jako v lekci 13. Koexistují zde dva klienti: klient SDK mistralai pro stopy a datové sady a klient mistralai-evaluations pro evaluaci.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Identifikuj neúspěšné stopy z minulého týdne
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Přidej ručně zkontrolované a opravené případy do datové sady
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Evaluuj kandidátskou verzi (úkol a přesnost: viz lekce 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Pokud tento skript spouštíš týdně, rozšiřuješ jím datovou sadu pro ochranu proti regresi o reálné incidenty a každá kandidátská verze musí před nasazením splnit své cíle na této datové sadě.

Shrnutí kurzu

Tento kurz tě provedl čtyřmi klíčovými oblastmi pro produkční nasazení AI s Mistralem:

Batch inference (lekce 1–4)

Umíš zpracovávat miliony požadavků za snížené náklady pomocí formátu JSONL, dávkování souborů a inline dávkování.

Predikované výstupy (lekce 5–7)

Umíš snížit latenci generování poskytnutím predikce výstupu, zejména při práci s kódem a úpravách textu.

Citace a reference (lekce 8–10)

Umíš ukotvit odpovědi svého LLM v ověřených zdrojích, parsovat citace a budovat spolehlivá RAG pipeline.

Pozorovatelnost (lekce 11–16)

Umíš trasovat svou aplikaci pomocí OpenTelemetry, procházet produkční stopy, automatizovat evaluaci kvality pomocí hodnotitelů, vytvářet datové sady a měřit každou verzi prostřednictvím offline evaluací.

Doporučené další kroky

Nejlepším způsobem, jak si tyto dovednosti upevnit, je aplikovat je v pořadí, které přinese tvému produkčnímu prostředí největší užitek. Začni nasazením batch pipeline na konkrétním use case ve své organizaci – měsíční klasifikace, obohacení katalogu – protože jde o nejrychlejší zisk, který lze demonstrovat. Dále integruj predikované výstupy všude tam, kde tvoje nástroje upravují existující kód nebo dokumenty: zisk na latenci je měřitelný během několika dnů. Přidej citace do svého RAG systému hned, jakmile se uživatelé začnou spoléhat na jeho odpovědi při rozhodování. Nakonec, pozorovatelnost začíná odesíláním stop, což je možné s jednoduchým API klíčem; Explorer a offline evaluace vyžadují organizaci na úrovni Enterprise. Právě tier Enterprise promění první tři iniciativy v cyklus nepřetržitého zlepšování, nikoliv jen v jednorázová nasazení.

Klíčové poznatky

  • Pipeline následuje smyčku: stopa a průzkum, hodnotitel, vytvoření datové sady, evaluace, iterace
  • Každý produkční incident se může stát testovacím případem a každá kandidátská verze musí splnit své cíle
  • Automatizuj smyčku pomocí SDK (traces.search, datasets.create_record, evaluation.run) a spouštěj ji v pravidelných intervalech
  • Čtyři oblasti tohoto kurzu (batch, predikované výstupy, citace, pozorovatelnost) se vzájemně doplňují pro robustní produkční AI

Ověř si své znalosti

Batch, latence, citace, pozorovatelnost: čtyři pilíře produkce.

1. Kdy je batch inference tou správnou volbou?

Odpověď: Pro vysoké objemy bez požadavku na real-time: asynchronní úlohy JSONL (nebo inline až do 10 tisíc požadavků) za snížené náklady – klasifikace, obohacování, hromadné generování.

2. Co jsou predikované výstupy?

Odpověď: Akcelerace pro případy, kdy je odpověď z velké části předvídatelná (úpravy existujícího textu, šablony): poskytneš predikci a model „platí“ pouze za rozdíly – latence výrazně klesá.

3. Co umožňují citace s objektem Reference?

Odpověď: Propojení každého tvrzení v odpovědi s jejími zdroji v RAG: ověřitelné odpovědi, snížení halucinací – důvěra se stává vlastností produktu.

4. Co děláš v Exploreru?

Odpověď: Vyhledáváš a zkoumáš produkční stopy – pomocí výrazového jazyka nad service_name, status_code, duration_ns nebo atributy spanů – abys našel problematické požadavky a následně z nich vytvořil testovací případy: surovinu pro jakékoli zlepšení.

5. Jak spolu fungují hodnotitelé, datové sady a evaluace?

Odpověď: Hodnotitelé provádějí automatické hodnocení (LLM-as-judge), datové sady akumulují testovací případy převzaté z produkce a offline evaluace měří každou verzi proti těmto datovým sadám s cíli typu PASS/FAIL – smyčka stopa → hodnotitel → vytvoření → evaluace.

Závěrečné pipeline kurzu propojuje všechny čtyři oblasti dohromady: produkuj ekonomicky, odpovídej rychle, dolož zdroje odpovědí, sleduj – zralá produkce v jediném workflow.