Cjevovod od kraja do kraja: tragovi, suci, skupovi podataka, evaluacije
Na ovoj stranici
Lekcija je ponovno napisana 2. studenoga 2026. na temelju Mistralove dokumentacije o Observability i
mistralaiSDK-a verzije 3.7.0: cjevovod sada povezuje tragove, suce, skupove podataka i izvanmrežne evaluacije. Značajka „Campaigns“ te metodechat_completion_events.search,campaigns.*iimport_from_exploreriz prethodne verzije više ne postoje. Izvori: Istraži tragove · Izvanmrežne evaluacije.
Radni tijek opservabilnosti od kraja do kraja
Sada si savladao svaku komponentu Mistralovog stoga za opservabilnost. Ova završna lekcija sastavlja dijelove u cjeloviti cjevovod koji možeš reproducirati i prilagoditi svom produkcijskom okruženju.
Prati i istražuj
Omogući telemetriju, zatim filtriraj tragove iz posljednjih 7 dana u Exploreru: pogreške, sporost, sumnjive odgovore. Zabilježi izraz za pretraživanje.
Procijeni (Judge)
Formaliziraj sporni kriterij kvalitete u suca (klasifikacija ili regresija), validiranog na 10 do 20 poznatih slučajeva.
Izgradi skup podataka
Pretvori problematične raspone (spans) u zapise, s ručno ispravljenim očekivanim izlazom.
Evaluiraj
Izmjeri trenutnu verziju, a zatim svaku varijantu protiv ovog skupa podataka, s ciljevima PROLAZ/NEPROLAZ (PASS/FAIL).
Iteriraj
Rasporedi pobjedničku varijantu, zadrži skup podataka kao zaštitnu ogradu protiv regresije i ponovi postupak.
Implementacija u Pythonu
Skripta u nastavku automatizira korake 1, 3 i 4; sudac za korak 2 stvara se jednom, kao u Lekciji 13. Dva klijenta postoje paralelno: klijent mistralai SDK-a za tragove i skupove podataka te klijent mistralai-evaluations za evaluaciju.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Identificiraj neuspjele tragove iz tjedna
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Dodaj ručno pregledane i ispravljene slučajeve u skup podataka
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. Evaluiraj kandidatsku verziju (zadatak i točnost: vidi Lekciju 14)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Pokrećeš li ovu skriptu tjedno, ona proširuje skup podataka za nepovratnost (non-regression) stvarnim incidentima, a svaka kandidatska verzija mora ispuniti svoje ciljeve na ovom skupu podataka prije raspoređivanja.
Sažetak tečaja
Ovaj tečaj vodio te je kroz četiri ključne domene za AI u produkciji s Mistralom:
Batch zaključivanje (Lekcije 1–4)
Znaš kako obraditi milijune zahtjeva uz smanjene troškove, koristeći JSONL format, grupiranje datoteka i inline grupiranje.
Predviđeni izlazi (Lekcije 5–7)
Znaš kako smanjiti latenciju generiranja pružanjem predviđanja izlaza, posebno za kod i uređivanje teksta.
Citati i reference (Lekcije 8–10)
Znaš kako usidriti odgovore svog LLM-a u verificirane izvore, parsirati citate i izgraditi pouzdane RAG cjevovode.
Opservabilnost (Lekcije 11–16)
Znaš kako pratiti svoju aplikaciju s OpenTelemetryjem, istraživati produkcijske tragove, automatizirati evaluaciju kvalitete pomoću sudaca, graditi skupove podataka i mjeriti svaku verziju putem izvanmrežnih evaluacija.
Preporučeni sljedeći koraci
Najbolji način da učvrstiš ove vještine jest primijeniti ih redoslijedom koji najviše koristi tvom produkcijskom okruženju. Započni raspoređivanjem batch cjevovoda na konkretnom slučaju upotrebe u svojoj organizaciji—mjesečna klasifikacija, obogaćivanje kataloga—jer je to najbrži dobitak za demonstraciju. Zatim integriraj Predviđene izlaze gdje god tvoji alati uređuju postojeći kod ili dokumente: dobitak u latenciji mjerljiv je u roku od nekoliko dana. Dodaj citate svom RAG sustavu čim se korisnici počnu oslanjati na njegove odgovore za donošenje odluka. Konačno, opservabilnost počinje slanjem tragova, što je moguće s jednostavnim API ključem; Explorer i izvanmrežne evaluacije zahtijevaju Enterprise organizaciju. Upravo će Enterprise razina transformirati prve tri inicijative u petlju kontinuiranog poboljšanja, a ne u jednokratna raspoređivanja.
Ključne točke
- Cjevovod slijedi petlju: prati i istražuj, procijeni (judge), izgradi skup podataka, evaluiraj, iteriraj
- Svaki produkcijski incident može postati testni slučaj, a svaka kandidatska verzija mora ispuniti svoje ciljeve
- Automatiziraj petlju s SDK-om (
traces.search,datasets.create_record,evaluation.run) i pokreći je u redovitim intervalima - Četiri domene ovog tečaja (batch, predviđeni izlazi, citati, opservabilnost) međusobno se nadopunjuju za robustnu AI produkciju
Provjeri svoje znanje
Batch, latencija, citati, opservabilnost: četiri stupa produkcije.
1. Kada je Batch zaključivanje pravi izbor?
Odgovor: Za velike volumene bez zahtjeva za radom u stvarnom vremenu: asinkroni JSONL poslovi (ili inline do 10 tisuća zahtjeva) uz smanjene troškove—klasifikacija, obogaćivanje, masovno generiranje.
2. Što su Predviđeni izlazi?
Odgovor: Ubrzanje kada je odgovor uglavnom predvidiv (uređivanje postojećeg teksta, predlošci): pružaš predviđanje, a model „plaća“ samo za razlike—latencija značajno pada.
3. Što omogućuju citati s Reference Objectom?
Odgovor: Povezivanje svake izjave u odgovoru s njegovim izvorima u RAG-u: provjerljivi odgovori, smanjene halucinacije—povjerenje postaje svojstvo proizvoda.
4. Što radiš u Exploreru?
Odgovor: Pretražuješ i pregledavaš produkcijske tragove—koristeći jezik izraza na service_name, status_code, duration_ns ili atributima raspona (span)—kako bi pronašao problematične zahtjeve, a zatim ih pretvorio u testne slučajeve: sirovi materijal za svako poboljšanje.
5. Kako zajedno djeluju suci, skupovi podataka i evaluacije?
Odgovor: Suci automatski evaluiraju (LLM-as-judge), skupovi podataka akumuliraju testne slučajeve izvučene iz produkcije, a izvanmrežne evaluacije mjere svaku verziju protiv tih skupova podataka s ciljevima PROLAZ/NEPROLAZ—petlja trag → sudac → izgradnja → evaluacija.
Završni cjevovod tečaja povezuje sva četiri elementa: proizvodi ekonomično, odgovaraj brzo, izvoriraj odgovore, promatraj—zrela produkcija u jednom radnom tijeku.