Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Kompletný pipeline: stopy, hodnotitelia, datasety, evaluácie

Lekcia 16 z 16 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Kompletný workflow observability
  2. Implementácia v Pythone
  3. Zhrnutie kurzu
  4. Odporúčané ďalšie kroky
  5. Kľúčové poznatky
  6. Over si svoje vedomosti

Lekcia prepísaná 2. novembra 2026 na základe dokumentácie Observability od Mistral a SDK mistralai verzie 3.7.0: pipeline teraz spája stopy, hodnotiteľov, datasety a offline evaluácie. Funkcia „Campaigns“ a metódy chat_completion_events.search, campaigns.* a import_from_explorer z predchádzajúcej verzie už neexistujú. Zdroje: Preskúmať stopy · Offline evaluácie.

Kompletný workflow observability

Teraz už ovládaš každú súčasť stacku observability od Mistral. Táto záverečná lekcia pospája všetky diely do kompletného pipeline, ktorý môžeš reprodukovať a prispôsobiť svojmu produkčnému prostrediu.

1

Stopa a prieskum

Povoľ telemetriu a následne v Exploréri filtruj stopy z posledných 7 dní: chyby, pomalé odozvy, podozrivé odpovede. Poznač si vyhľadávací výraz.

2

Hodnotenie (Judge)

Sformalizuj sporné kritérium kvality do podoby hodnotiteľa (klasifikácia alebo regresia) a over ho na 10 až 20 známych prípadoch.

3

Vytvorenie datasetu

Preveď problematické span-y na záznamy s manuálne opraveným očakávaným výstupom.

4

Evaluácia

Zmeraj aktuálnu verziu a následne každú variantu voči tomuto datasetu s cieľmi PASS/FAIL.

5

Iterácia

Nasaď víťaznú variantu, udržuj dataset ako ochranu proti regresii a celý proces opakuj.

Implementácia v Pythone

Nasledujúci skript automatizuje kroky 1, 3 a 4; hodnotiteľ pre krok 2 sa vytvorí raz, ako v lekcii 13. Spolupracujú tu dvaja klienti: klient SDK mistralai pre stopy a datasety a klient mistralai-evaluations pre evaluácie.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Identifikácia neúspešných stôp z týždňa
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Pridanie manuálne skontrolovaných a opravených prípadov do datasetu
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Evaluácia kandidátskej verzie (úloha a presnosť: pozri Lekciu 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Ak tento skript spúšťaš týždenne, rozširuješ ním dataset na ochranu proti regresii o reálne incidenty a každá kandidátska verzia musí pred nasadením splniť svoje ciele na tomto datasete.

Zhrnutie kurzu

Tento kurz ťa previedol štyrmi kľúčovými oblasťami pre produkčné nasadzovanie AI s Mistral:

Batch Inferencia (Lekcie 1–4)

Vieš spracovať milióny požiadaviek za znížené náklady využitím formátu JSONL, dávkovania súborov a inline dávkovania.

Predpovedané výstupy (Lekcie 5–7)

Vieš znížiť latenciu generovania poskytnutím predpovede výstupu, najmä pri práci s kódom a úpravách textu.

Citácie a referencie (Lekcie 8–10)

Vieš ukotviť odpovede svojho LLM v overených zdrojoch, parsovať citácie a budovať spoľahlivé RAG pipeline.

Observability (Lekcie 11–16)

Vieš trace-ovať svoju aplikáciu pomocou OpenTelemetry, preskúmavať produkčné stopy, automatizovať hodnotenie kvality pomocou hodnotiteľov, budovať datasety a merať každú verziu prostredníctvom offline evaluácií.

Odporúčané ďalšie kroky

Najlepší spôsob, ako si tieto zručnosti upevniť, je aplikovať ich v poradí, ktoré prináša tvojej produkčnej среде najväčší úžitok. Začni nasadením batch pipeline na konkrétnom use case vo svojej organizácii – mesačná klasifikácia, obohatenie katalógu – pretože ide o najrýchlejší zisk, ktorý vieš demonštrovať. Ďalej integruj Predpovedané výstupy všade tam, kde tvoje nástroje upravujú existujúci kód alebo dokumenty: zisk na latencii je merateľný v priebehu dní. Pridaj citácie do svojho RAG systému hneď, ako sa používatelia začnú spoliehať na jeho odpovede pri rozhodovaní. Nakoniec, observability začína odosielaním stôp, čo je možné aj s jednoduchým API kľúčom; Explorer a offline evaluácie si vyžadujú organizáciu typu Enterprise. Práve tier Enterprise transformuje prvé tri iniciatívy na cyklus neustáleho zlepšovania namiesto jednorazových nasadení.

Kľúčové poznatky

  • Pipeline nasleduje cyklus: stopa a prieskum, hodnotenie, vytvorenie datasetu, evaluácia, iterácia
  • Každý produkčný incident sa môže stať testovacím prípadom a každá kandidátska verzia musí splniť svoje ciele
  • Automatizuj tento cyklus pomocou SDK (traces.search, datasets.create_record, evaluation.run) a spúšťaj ho v pravidelných intervaloch
  • Štyri oblasti tohto kurzu (batch, predpovedané výstupy, citácie, observability) sa navzájom dopĺňajú pre robustné produkčné nasadzovanie AI

Over si svoje vedomosti

Batch, latencia, citácie, observability: štyri piliere produkcie.

1. Kedy je Batch Inferencia tou správnou voľbou?

Odpoveď: Pri vysokých objemoch bez požiadavky na reálny čas: asynchrónne úlohy JSONL (alebo inline až do 10 000 požiadaviek) za znížené náklady – klasifikácia, obohacovanie, hromadné generovanie.

2. Čo sú Predpovedané výstupy?

Odpoveď: Akcelerácia v prípadoch, keď je odpoveď z veľkej časti predvídateľná (úprava existujúceho textu, šablóny): poskytneš predpoveď a model „platí“ len za rozdiely – latencia výrazne klesá.

3. Čo umožňujú citácie s Reference Object?

Odpoveď: Prepojenie každého tvrdenia v odpovedi so zdrojmi v RAG: overiteľné odpovede, zníženie halucinácií – dôvera sa stáva vlastnosťou produktu.

4. Čo robíš v Exploréri?

Odpoveď: Vyhľadávaš a skúmaš produkčné stopy – pomocou výrazového jazyka pre service_name, status_code, duration_ns alebo atribúty span-u – aby si našiel problematické požiadavky a následne z nich vytvoril testovacie prípady: surovinu pre akékoľvek zlepšenie.

5. Ako spolu fungujú hodnotitelia, datasety a evaluácie?

Odpoveď: Hodnotitelia vykonávajú automatické hodnotenie (LLM-as-judge), datasety akumulujú testovacie prípady získané z produkcie a offline evaluácie merajú každú verziu voči týmto datasetom s cieľmi PASS/FAIL – cyklus stopa → hodnotenie → vytvorenie → evaluácia.

Záverečný pipeline tohto kurzu spája všetky štyri oblasti dohromady: produkcia ekonomicky, rýchla odozva, zdrojovanie odpovedí, pozorovanie – zrelá produkcia v rámci jediného workflow.