Spring til hovedindhold
Dansk— Vælg et sprog
Menu

End-to-end-pipeline: spor, dommere, datasæt, evalueringer

Lektion 16 af 16 Opdateret 2. november 2026 Avanceret
På denne side
  1. Det end-to-end observability-workflow
  2. Python-implementering
  3. Kursusopsamling
  4. Anbefalede næste skridt
  5. Vigtige pointer
  6. Test din viden

Lektien er omskrevet den 2. november 2026 baseret på Mistrals dokumentation om Observability og mistralai SDK 3.7.0: Pipelinen kæder nu spor, dommere, datasæt og offline-evalueringer sammen. Funktionen “Campaigns” samt metoderne chat_completion_events.search, campaigns.* og import_from_explorer fra den tidligere version findes ikke længere. Kilder: Udforsk spor · Offline-evalueringer.

Det end-to-end observability-workflow

Du har nu mestret hver enkelt komponent i Mistrals observability-stack. Denne sidste lektion samler brikkerne til en komplet pipeline, som du kan reproducere og tilpasse til din produktionskontekst.

1

Sporlægning og udforskning

Aktivér telemetri, og filtrér derefter spor fra de sidste 7 dage i Exploreren: fejl, langsomhed, mistænkelige svar. Notér søgeudtrykket.

2

Bedøm

Formalisér det relevante kvalitetskriterium til en dommer (klassificering eller regression), valideret på 10 til 20 kendte tilfælde.

3

Opbyg et datasæt

Transformér problematiske spans til poster med det forventede output manuelt korrigeret.

4

Evaluér

Mål den aktuelle version og derefter hver variant mod dette datasæt med PASS/FAIL-målsætninger.

5

Iterér

Udrul den vindende variant, behold datasættet som en guardrail mod regression, og gentag processen.

Python-implementering

Scriptet nedenfor automatiserer trin 1, 3 og 4; dommeren til trin 2 oprettes én gang, som beskrevet i lektion 13. To klienter eksisterer sideløbende: mistralai SDK-klienten til spor og datasæt samt mistralai-evaluations-klienten til evaluering.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Identificér mislykkede spor fra ugen
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Tilføj manuelt gennemgåede og korrigerede tilfælde til datasættet
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Evaluér kandidatversionen (opgave og nøjagtighed: se lektion 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Når dette script køres ugentligt, udvides datasættet til ikke-regression med rigtige hændelser, og hver kandidatversion skal opfylde sine målsætninger på dette datasæt før udrulning.

Kursusopsamling

Dette kursus har guidet dig gennem fire essentielle domæner for AI-produktion med Mistral:

Batch-inferens (Lektion 1-4)

Du ved, hvordan du behandler millioner af anmodninger til reducerede omkostninger ved hjælp af JSONL-format, fil-batching og inline-batching.

Forudsagte outputs (Lektion 5-7)

Du ved, hvordan du reducerer genereringslatens ved at levere en output-forudsigelse, især til kode og tekstredigering.

Citater og referencer (Lektion 8-10)

Du ved, hvordan du forankrer din LLM’s svar i verificerede kilder, parser citater og opbygger pålidelige RAG-pipelines.

Observability (Lektion 11-16)

Du ved, hvordan du sporer din applikation med OpenTelemetry, udforsker produktionsspor, automatiserer kvalitetsevaluering med dommere, opbygger datasæt og måler hver version via offline-evalueringer.

Anbefalede næste skridt

Den bedste måde at befæste disse færdigheder på er at anvende dem i den rækkefølge, der gavner dit produktionsmiljø mest. Start med at udrulle en batch-pipeline på et konkret use case i din organisation – en månedlig klassificering, en berigelse af kataloger – fordi det er den hurtigste gevinst at demonstrere. Integrér derefter Forudsagte outputs overalt, hvor dine værktøjer redigerer eksisterende kode eller dokumenter: latensgevinsten er målbar inden for få dage. Tilføj citater til dit RAG-system, så snart brugere baserer deres beslutninger på dets svar. Endelig starter observability med at sende spor, hvilket er muligt med en simpel API-nøgle; Exploreren og offline-evalueringer kræver en Enterprise-organisation. Det er Enterprise-niveauet, der vil transformere de første tre initiativer til en løbende forbedringssløjfe frem for engangsudrulninger.

Vigtige pointer

  • Pipelinen følger sløjfen: sporsøgning og udforskning, dommer, opbyg datasæt, evaluér, iterér
  • Hver produktionshændelse kan blive til et testtilfælde, og hver kandidatversion skal opfylde sine målsætninger
  • Automatisér sløjfen med SDK’et (traces.search, datasets.create_record, evaluation.run) og kør den med jævne mellemrum
  • Kursets fire domæner (batch, forudsagte outputs, citater, observability) supplerer hinanden for en robust AI-produktion

Test din viden

Batch, latens, citater, observability: de fire søjler i produktion.

1. Hvornår er Batch-inferens det rigtige valg?

Svar: Ved store volumener uden krav om realtid: asynkrone JSONL-jobs (eller inline op til 10.000 anmodninger) til reducerede omkostninger – klassificering, berigelse, massegenerering.

2. Hvad er Forudsagte outputs?

Svar: En acceleration, når svaret er stort set forudsigeligt (redigering af eksisterende tekst, skabeloner): du leverer forudsigelsen, og modellen “betaler” kun for forskellene – latensen falder markant.

3. Hvad muliggør citater med Reference Object?

Svar: At knytte hver udtalelse i svaret til dens kilder i en RAG: verificerbare svar, reducerede hallucinationer – tillid bliver en produktegenskab.

4. Hvad laver du i Exploreren?

Svar: Søger og inspicerer produktionsspor – ved hjælp af et udtrykssprog på service_name, status_code, duration_ns eller span-attributter – for at finde problematiske anmodninger og derefter omdanne dem til testtilfælde: råmaterialet til enhver forbedring.

5. Hvordan arbejder dommere, datasæt og evalueringer sammen?

Svar: Dommere evaluerer automatisk (LLM-as-judge), datasæt akkumulerer testtilfælde hentet fra produktion, og offline-evalueringer måler hver version mod disse datasæt med PASS/FAIL-målsætninger – sløjfen spor → dommer → opbyg → evaluér.

Kursets endelige pipeline kæder alle fire sammen: producer økonomisk, svar hurtigt, kildehenvis svar, observer – moden produktion i ét enkelt workflow.