Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Cevovod od začetka do konca: sledi, ocenjevalci, nabori podatkov, evalvacije

Lekcija 16 od 16 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Delovni tok opazljivosti od začetka do konca
  2. Implementacija v Pythonu
  3. Povzetek tečaja
  4. Priporočeni naslednji koraki
  5. Ključne ugotovitve
  6. Preveri svoje znanje

Lekcija je bila ponovno napisana 2. novembra 2026 na podlagi dokumentacije Mistral o opazljivosti in SDK mistralai različice 3.7.0: cevovod zdaj povezuje sledi, ocenjevalce, nabore podatkov in odklopljene evalvacije. Funkcija „Campaigns” ter metode chat_completion_events.search, campaigns.* in import_from_explorer iz prejšnje različice ne obstajajo več. Viri: Raziskovanje sledi · Odklopljene evalvacije.

Delovni tok opazljivosti od začetka do konca

Zdaj obvladaš vsako komponento Mistralovega sklada za opazljivost. Ta zaključna lekcija združuje dele v celoten cevovod, ki ga lahko reproduciraš in prilagodiš svojemu produkcijskemu okolju.

1

Sledi in raziskuj

Omogoči telemetrijo, nato v raziskovalcu filtriraj sledi iz zadnjih 7 dni: napake, počasne odzive, sumljive odgovore. Zabeleži iskalni izraz.

2

Ocenjevalec (Judge)

Formaliziraj sporno merilo kakovosti v ocenjevalca (klasifikacija ali regresija), validiranega na 10 do 20 znanih primerih.

3

Izgradi nabor podatkov

Problematične razpone (spans) pretvori v zapise z ročno popravljenim pričakovanim izhodom.

4

Evalviraj

Izmeri trenutno različico in nato vsako varianto glede na ta nabor podatkov s cilji PASS/FAIL.

5

Iteriraj

Uvedi zmagovalno varianto, ohrani nabor podatkov kot zaščito pred regresijo in ponovi postopek.

Implementacija v Pythonu

Spodnji skript avtomatizira korake 1, 3 in 4; ocenjevalec za korak 2 se ustvari enkrat, kot v lekciji 13. Sobivata dva odjemalca: odjemalec SDK mistralai za sledi in nabore podatkov ter odjemalec mistralai-evaluations za evalvacijo.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Identificiraj neuspele sledi iz tedna
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Dodaj ročno pregledane in popravljene primere v nabor podatkov
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Evalviraj kandidatno različico (naloga in točnost: glej lekcijo 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Če ta skript poganjaš tedensko, povečuje nabor podatkov za preprečevanje regresije z realnimi incidenti; vsaka kandidatna različica mora pred uvedbo izpolniti svoje cilje na tem naboru podatkov.

Povzetek tečaja

Ta tečaj te je popeljal skozi štiri bistvena področja za produkcijsko umetno inteligenco z Mistralom:

Skupinsko sklepanje (Lekcije 1–4)

Veš, kako obdelati milijone zahtevkov ob znižanih stroških z uporabo zapisa JSONL, združevanja datotek in združevanja v vrstici.

Napovedani izhodi (Lekcije 5–7)

Veš, kako zmanjšati zakasnitev generiranja z zagotavljanjem napovedi izhoda, zlasti pri kodi in urejanju besedila.

Citati in reference (Lekcije 8–10)

Veš, kako sidrati odgovore svojega velikega jezikovnega modela v preverjene vire, razčleniti citate in zgraditi zanesljive cevovode RAG.

Opazljivost (Lekcije 11–16)

Veš, kako slediti svoji aplikaciji z OpenTelemetry, raziskovati produkcijske sledi, avtomatizirati evalvacijo kakovosti z ocenjevalci, graditi nabore podatkov in meriti vsako različico prek odklopljenih evalvacij.

Priporočeni naslednji koraki

Najboljši način za utrditev teh veščin je njihova uporaba v vrstnem redu, ki najbolj koristi tvojemu produkcijskemu okolju. Začni z uvedbo cevovoda za skupinsko obdelavo na konkretnem primeru uporabe v tvoji organizaciji – mesečna klasifikacija, obogatitev kataloga – saj je to najhitrejša pridobitev, ki jo lahko dokažeš. Nato integriraj napovedane izhode povsod, kjer tvoja orodja urejajo obstoječo kodo ali dokumente: pridobitev pri zakasnitvi je merljiva v nekaj dneh. Dodaj citate svojemu sistemu RAG takoj, ko se uporabniki pri odločanju zanašajo na njegove odgovore. Nazadnje, opazljivost se začne s pošiljanjem sledi, kar je mogoče z enim samim ključem API; raziskovalec in odklopljene evalvacije zahtevajo organizacijo Enterprise. Prav raven Enterprise bo prve tri pobude spremenila v zanko neprekinjenega izboljševanja namesto v enkratne uvedbe.

Ključne ugotovitve

  • Cevovod sledi zanki: sledi in raziskuj, ocenjevalec, izgradi nabor podatkov, evalviraj, iteriraj.
  • Vsak produkcijski incident lahko postane testni primer, vsaka kandidatna različica pa mora izpolniti svoje cilje.
  • Avtomatiziraj zanko s SDK (traces.search, datasets.create_record, evaluation.run) in jo izvajaj v rednih intervalih.
  • Štiri področja tega tečaja (skupinska obdelava, napovedani izhodi, citati, opazljivost) se medsebojno dopolnjujejo za robustno produkcijsko umetno inteligenco.

Preveri svoje znanje

Skupinska obdelava, zakasnitev, citati, opazljivost: štirje stobri produkcije.

1. Kdaj je skupinsko sklepanje (Batch Inference) prava izbira?

Odgovor: Pri velikih količinah brez omejitev v realnem času: asinhrona opravila JSONL (ali v vrstici do 10 tisoč zahtevkov) ob znižanih stroških – klasifikacija, obogatitev, množično generiranje.

2. Kaj so napovedani izhodi?

Odgovor: Pospešek, ko je odgovor v veliki meri predvidljiv (urejanje obstoječega besedila, predloge): zagotoviš napoved, model pa „plača” le za razlike – zakasnitev se znatno zmanjša.

3. Kaj omogočajo citati s predmetom Reference?

Odgovor: Povezavo vsake trditve v odgovoru z njegovimi viri v sistemu RAG: preverljivi odgovori, zmanjšane halucinacije – zaupanje postane lastnost izdelka.

4. Kaj počneš v raziskovalcu (Explorer)?

Odgovor: Iščeš in pregleduješ produkcijske sledi – z uporabo izraznega jezika za service_name, status_code, duration_ns ali atribute razpona – da najdeš problematične zahtevke, nato pa jih pretvoriš v testne primere: surovino za vsako izboljšavo.

5. Kako ocenjevalci, nabori podatkov in evalvacije delujejo skupaj?

Odgovor: Ocenjevalci avtomatsko evalvirajo (LLM kot ocenjevalec), nabori podatkov kopičijo testne primere iz produkcije, odklopljene evalvacije pa merijo vsako različico glede na te nabore podatkov s cilji PASS/FAIL – zanka sled → ocenjevalec → izgradnja → evalvacija.

Končni cevovod tečaja povezuje vse štiri skupaj: ekonomična proizvodnja, hiter odziv, viri za odgovore, opazovanje – zrela produkcija v enem samem delovnem toku.