Lähe põhisisu juurde
Eesti— Vali keel
Menüü

End-to-end pipeline: jäljed, hindajad, andmestikud, hindamised

Õppetund 16 / 16 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. End-to-end jälgitavuse töövoog
  2. Pythoni teostus
  3. Kursuse kokkuvõte
  4. Soovitatavad järgmised sammud
  5. Peamised punktid
  6. Testi oma teadmisi

Õppetund kirjutati ümber 2. novembril 2026, tuginedes Mistrali Observability dokumentatsioonile ja mistralai SDK versioonile 3.7.0: pipeline ühendab nüüd jäljed, hindajad, andmestikud ja võrguühenduseta hindamised. Eelmises versioonis olnud funktsioon „Campaigns“ ning meetodid chat_completion_events.search, campaigns.* ja import_from_explorer on kadunud. Allikad: Uuri jälgi · Võrguühenduseta hindamised.

End-to-end jälgitavuse töövoog

Oled nüüd omandanud Mistrali jälgitavuse virna kõik komponendid. Selles viimases õppetunnis paneme tükid kokku täielikuks pipeline’iks, mida saad reprodutseerida ja kohandada oma tootmiskeskkonnas.

1

Jälgi ja uuri

Luba telemeetria ja seejärel filtreeri Exploreris viimase 7 päeva jälgi: vead, aeglus, kahtlased vastused. Pane tähele otsinguväljendit.

2

Hinda

Formuleeri asjakohane kvaliteedikriteerium hindajaks (klassifitseerimine või regressioon), valideerides seda 10–20 teadaoleval juhul.

3

Koosta andmestik

Teisenda problemaatilised span-id kirjeteks, kus oodatav väljund on käsitsi parandatud.

4

Hinda

Mõõda selle andmestiku põhjal nii praegust versiooni kui ka iga varianti, seades eesmärgiks PASS/FAIL.

5

Itereeri

Võta kasutusele võitnud variant, säilita andmestik mitteregressiooni kaitseraudena ja korda protsessi.

Pythoni teostus

Alltoodud skript automatiseerib sammud 1, 3 ja 4; sammu 2 hindaja luuakse üks kord, nagu õppetunnis 13. Kasutusel on kaks klienti: mistralai SDK klient jälgede ja andmestike jaoks ning mistralai-evaluations klient hindamiseks.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Tuvasta nädala jooksul ebaõnnestunud jäljed
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Lisa andmestikku käsitsi üle vaadatud ja parandatud juhtumid
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Hinda kandidaatversiooni (ülesanne ja täpsus: vt õppetund 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Seda skripti iganädalaselt käivitades kasvatab see mitteregressiooni andmestikku reaalsete intsidentidega ja iga kandidaatversioon peab enne kasutuselevõttu sellel andmistikul oma eesmärgid täitma.

Kursuse kokkuvõte

See kursus on viinud sind läbi nelja olulise valdkonna, mis on vajalikud AI tootmiseks Mistraliga:

Partii järeldused (õppetunnid 1–4)

Sa tead, kuidas töödelda miljoneid päringuid väiksemate kuludega, kasutades JSONL-vormingut, failide partii töötlemist ja sisestatud partii töötlemist.

Ennustatud väljundid (õppetunnid 5–7)

Sa tead, kuidas vähendada genereerimise latentsust, pakkudes väljundi ennustust, eriti koodi ja teksti redigeerimisel.

Tsitaadid ja viited (õppetunnid 8–10)

Sa tead, kuidas ankurdada oma suure keelemudeli vastuseid kontrollitud allikatesse, parsida tsitaate ja ehitada usaldusväärseid RAG-pipeline’e.

Jälgitavus (õppetunnid 11–16)

Sa tead, kuidas jälgida oma rakendust OpenTelemetry abil, uurida tootmisjälgi, automatiseerida kvaliteedi hindamist hindajatega, koostada andmestikke ja mõõta iga versiooni võrguühenduseta hindamiste kaudu.

Soovitatavad järgmised sammud

Parim viis nende oskuste kinnistamiseks on rakendada need järjekorras, mis toob sinu tootmiskeskkonnale suurimat kasu. Alusta partii pipeline’i kasutuselevõtuga konkreetse kasutusjuhu jaoks oma organisatsioonis – olgu selleks igakuine klassifitseerimine või kataloogi rikastamine –, sest see on kiireim viis tulemuste demonstreerimiseks. Seejärel integreeri ennustatud väljundid kõikjal, kus sinu tööriistad redigeerivad olemasolevat koodi või dokumente: latentsuse vähenemine on mõõdetav juba mõne päevaga. Lisa tsitaadid oma RAG-süsteemi niipea, kui kasutajad hakkavad selle vastustele tuginedes otsuseid langetama. Lõpuks, jälgitavus algab jälgede saatmisest, mis on võimalik lihtsa API-võtmega; Explorer ja võrguühenduseta hindamised nõuavad Enterprise-taseme organisatsiooni. Just Enterprise-tase muudab need esimesed kolm algatust pideva täiustamise tsükliks, mitte üksikuteks kasutuselevõttudeks.

Peamised punktid

  • Pipeline järgib tsüklit: jälgi ja uuri, hinda, koosta andmestik, hinda, itereeri
  • Iga tootmisintsident võib saada testjuhuks ja iga kandidaatversioon peab täitma oma eesmärgid
  • Automatiseeri tsükkel SDK-ga (traces.search, datasets.create_record, evaluation.run) ja käivita seda regulaarsete intervallidega
  • Selle kursuse neli valdkonda (partii, ennustatud väljundid, tsitaadid, jälgitavus) täiendavad üksteist robustse AI tootmise jaoks

Testi oma teadmisi

Partii, latentsus, tsitaadid, jälgitavus: tootmise neli sammast.

1. Millal on partii järeldused õige valik?

Vastus: Suurte mahtude puhul, kui reaalaja piirangud puuduvad: asünkroonsed JSONL-tööd (või sisestatud partii kuni 10 000 päringut) väiksemate kuludega – klassifitseerimine, rikastamine, massiline genereerimine.

2. Mis on ennustatud väljundid?

Vastus: Kiirendus juhtudel, kui vastus on suuresti ennustatav (olemasoleva teksti redigeerimine, mallid): sa pakud ennustuse ja mudel „maksab“ ainult erinevuste eest – latentsus langeb oluliselt.

3. Mida võimaldavad tsitaadid koos Reference Objectiga?

Vastus: Iga vastuses oleva väite sidumist selle allikatega RAG-is: kontrollitavad vastused, hallutsinatsioonide vähendamine – usaldusväärsus muutub toote omaduseks.

4. Mida sa teed Exploreris?

Vastus: Otsid ja uurid tootmisjälgi – kasutades avaldiste keelt väljadele service_name, status_code, duration_ns või span-i atribuutidele –, et leida problemaatilisi päringuid, ja muudad need seejärel testjuhtumiteks: toores materjal igasuguseks täiustamiseks.

5. Kuidas töötavad koos hindajad, andmestikud ja hindamised?

Vastus: Hindajad hindavad automaatselt (LLM-as-judge), andmestikud koguvad testjuhtumeid, mis on pärit tootmisest, ja võrguühenduseta hindamised mõõdavad iga versiooni nende andmestike põhjal PASS/FAIL eesmärkidega – tsükkel jälgi → hinda → koosta → hindamine.

Kursuse lõplik pipeline ühendab need kõik neli: tooda majanduslikult, vasta kiiresti, too vastustele allikad, jälgi – küps tootmine ühes töövoos.