Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Cjevovod od kraja do kraja: tragovi, suci, skupovi podataka, evaluacije

Lekcija 16 od 16 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Radni tijek opservabilnosti od kraja do kraja
  2. Implementacija u Pythonu
  3. Sažetak tečaja
  4. Preporučeni sljedeći koraci
  5. Ključne točke
  6. Provjeri svoje znanje

Lekcija je ponovno napisana 2. studenoga 2026. na temelju Mistralove dokumentacije o Observability i mistralai SDK-a verzije 3.7.0: cjevovod sada povezuje tragove, suce, skupove podataka i izvanmrežne evaluacije. Značajka „Campaigns“ te metode chat_completion_events.search, campaigns.* i import_from_explorer iz prethodne verzije više ne postoje. Izvori: Istraži tragove · Izvanmrežne evaluacije.

Radni tijek opservabilnosti od kraja do kraja

Sada si savladao svaku komponentu Mistralovog stoga za opservabilnost. Ova završna lekcija sastavlja dijelove u cjeloviti cjevovod koji možeš reproducirati i prilagoditi svom produkcijskom okruženju.

1

Prati i istražuj

Omogući telemetriju, zatim filtriraj tragove iz posljednjih 7 dana u Exploreru: pogreške, sporost, sumnjive odgovore. Zabilježi izraz za pretraživanje.

2

Procijeni (Judge)

Formaliziraj sporni kriterij kvalitete u suca (klasifikacija ili regresija), validiranog na 10 do 20 poznatih slučajeva.

3

Izgradi skup podataka

Pretvori problematične raspone (spans) u zapise, s ručno ispravljenim očekivanim izlazom.

4

Evaluiraj

Izmjeri trenutnu verziju, a zatim svaku varijantu protiv ovog skupa podataka, s ciljevima PROLAZ/NEPROLAZ (PASS/FAIL).

5

Iteriraj

Rasporedi pobjedničku varijantu, zadrži skup podataka kao zaštitnu ogradu protiv regresije i ponovi postupak.

Implementacija u Pythonu

Skripta u nastavku automatizira korake 1, 3 i 4; sudac za korak 2 stvara se jednom, kao u Lekciji 13. Dva klijenta postoje paralelno: klijent mistralai SDK-a za tragove i skupove podataka te klijent mistralai-evaluations za evaluaciju.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Identificiraj neuspjele tragove iz tjedna
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Dodaj ručno pregledane i ispravljene slučajeve u skup podataka
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Evaluiraj kandidatsku verziju (zadatak i točnost: vidi Lekciju 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Pokrećeš li ovu skriptu tjedno, ona proširuje skup podataka za nepovratnost (non-regression) stvarnim incidentima, a svaka kandidatska verzija mora ispuniti svoje ciljeve na ovom skupu podataka prije raspoređivanja.

Sažetak tečaja

Ovaj tečaj vodio te je kroz četiri ključne domene za AI u produkciji s Mistralom:

Batch zaključivanje (Lekcije 1–4)

Znaš kako obraditi milijune zahtjeva uz smanjene troškove, koristeći JSONL format, grupiranje datoteka i inline grupiranje.

Predviđeni izlazi (Lekcije 5–7)

Znaš kako smanjiti latenciju generiranja pružanjem predviđanja izlaza, posebno za kod i uređivanje teksta.

Citati i reference (Lekcije 8–10)

Znaš kako usidriti odgovore svog LLM-a u verificirane izvore, parsirati citate i izgraditi pouzdane RAG cjevovode.

Opservabilnost (Lekcije 11–16)

Znaš kako pratiti svoju aplikaciju s OpenTelemetryjem, istraživati produkcijske tragove, automatizirati evaluaciju kvalitete pomoću sudaca, graditi skupove podataka i mjeriti svaku verziju putem izvanmrežnih evaluacija.

Preporučeni sljedeći koraci

Najbolji način da učvrstiš ove vještine jest primijeniti ih redoslijedom koji najviše koristi tvom produkcijskom okruženju. Započni raspoređivanjem batch cjevovoda na konkretnom slučaju upotrebe u svojoj organizaciji—mjesečna klasifikacija, obogaćivanje kataloga—jer je to najbrži dobitak za demonstraciju. Zatim integriraj Predviđene izlaze gdje god tvoji alati uređuju postojeći kod ili dokumente: dobitak u latenciji mjerljiv je u roku od nekoliko dana. Dodaj citate svom RAG sustavu čim se korisnici počnu oslanjati na njegove odgovore za donošenje odluka. Konačno, opservabilnost počinje slanjem tragova, što je moguće s jednostavnim API ključem; Explorer i izvanmrežne evaluacije zahtijevaju Enterprise organizaciju. Upravo će Enterprise razina transformirati prve tri inicijative u petlju kontinuiranog poboljšanja, a ne u jednokratna raspoređivanja.

Ključne točke

  • Cjevovod slijedi petlju: prati i istražuj, procijeni (judge), izgradi skup podataka, evaluiraj, iteriraj
  • Svaki produkcijski incident može postati testni slučaj, a svaka kandidatska verzija mora ispuniti svoje ciljeve
  • Automatiziraj petlju s SDK-om (traces.search, datasets.create_record, evaluation.run) i pokreći je u redovitim intervalima
  • Četiri domene ovog tečaja (batch, predviđeni izlazi, citati, opservabilnost) međusobno se nadopunjuju za robustnu AI produkciju

Provjeri svoje znanje

Batch, latencija, citati, opservabilnost: četiri stupa produkcije.

1. Kada je Batch zaključivanje pravi izbor?

Odgovor: Za velike volumene bez zahtjeva za radom u stvarnom vremenu: asinkroni JSONL poslovi (ili inline do 10 tisuća zahtjeva) uz smanjene troškove—klasifikacija, obogaćivanje, masovno generiranje.

2. Što su Predviđeni izlazi?

Odgovor: Ubrzanje kada je odgovor uglavnom predvidiv (uređivanje postojećeg teksta, predlošci): pružaš predviđanje, a model „plaća“ samo za razlike—latencija značajno pada.

3. Što omogućuju citati s Reference Objectom?

Odgovor: Povezivanje svake izjave u odgovoru s njegovim izvorima u RAG-u: provjerljivi odgovori, smanjene halucinacije—povjerenje postaje svojstvo proizvoda.

4. Što radiš u Exploreru?

Odgovor: Pretražuješ i pregledavaš produkcijske tragove—koristeći jezik izraza na service_name, status_code, duration_ns ili atributima raspona (span)—kako bi pronašao problematične zahtjeve, a zatim ih pretvorio u testne slučajeve: sirovi materijal za svako poboljšanje.

5. Kako zajedno djeluju suci, skupovi podataka i evaluacije?

Odgovor: Suci automatski evaluiraju (LLM-as-judge), skupovi podataka akumuliraju testne slučajeve izvučene iz produkcije, a izvanmrežne evaluacije mjere svaku verziju protiv tih skupova podataka s ciljevima PROLAZ/NEPROLAZ—petlja trag → sudac → izgradnja → evaluacija.

Završni cjevovod tečaja povezuje sva četiri elementa: proizvodi ekonomično, odgovaraj brzo, izvoriraj odgovore, promatraj—zrela produkcija u jednom radnom tijeku.