Teljes körű folyamat: nyomkövetések, értékelők, adathalmazok, kiértékelések
Ezen az oldalon
A leckét 2026. november 2-án írtuk át a Mistral Observability dokumentációja és a
mistralaiSDK 3.7.0 verziója alapján: a folyamat most összekapcsolja a nyomkövetéseket, az értékelőket, az adathalmazokat és az offline kiértékeléseket. A korábbi verzió „Campaigns“ funkciója, valamint achat_completion_events.search,campaigns.*ésimport_from_explorermetódusok már nem léteznek. Források: Nyomkövetések böngészése · Offline kiértékelések.
A teljes körű megfigyelési munkafolyamat
Mostanra már elsajátítottad a Mistral megfigyelési stackjének minden egyes komponensét. Ez a zárólecke egy teljes folyamattá állítja össze ezeket az elemeket, amelyet reprodukálhatsz és testre szabhatsz a saját éles környezetedben.
Nyomkövetés és felderítés
Engedélyezd a telemetriát, majd szűrd le az elmúlt 7 nap nyomkövetéseit az Explorerben: hibák, lassúság, gyanús válaszok. Jegyezd fel a keresési kifejezést.
Értékelő (Judge)
Formalizáld a szóban forgó minőségi kritériumot egy értékelővé (osztályozás vagy regresszió), amelyet 10–20 ismert eseten validáltál.
Adathalmaz létrehozása
Alakítsd át a problémás span-okat rekordokká, manuálisan korrigált várható kimenettel.
Kiértékelés
Mérd le az aktuális verziót, majd minden egyes variánst ezzel az adathalmazzal szemben, PASS/FAIL célokat kitűzve.
Iteráció
Telepítsd a győztes variánst, tartsd meg az adathalmazt nem-regressziós védőkorlátként, és ismételd meg a folyamatot.
Python megvalósítás
Az alábbi szkript automatizálja az 1., 3. és 4. lépést; a 2. lépéshez szükséges értékelőt egyszer hozod létre, ahogy azt a 13. leckében láttuk. Két kliens működik egyszerre: a mistralai SDK kliens a nyomkövetésekhez és adathalmazokhoz, valamint a mistralai-evaluations kliens a kiértékeléshez.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Sikertelen nyomkövetések azonosítása az elmúlt hétről
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Manuálisan átnézett és korrigált esetek hozzáadása az adathalmazhoz
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. A jelölt verzió kiértékelése (feladat és pontosság: lásd 14. lecke)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Ha hetente futtatod ezt a szkriptet, a nem-regressziós adathalmaz valós incidensekkel gyarapodik, és minden egyes jelölt verziónak teljesítenie kell a kitűzött célokat ezen az adathalmazon a telepítés előtt.
A kurzus összefoglalása
Ez a kurzus végigvezetett téged a Mistral alapú AI élesítés négy alapvető területén:
Kötegelt következtetés (Batch Inference) (1–4. leckék)
Tudod, hogyan dolgozz fel milliószámra kéréseket csökkentett költséggel, JSONL formátum, fájl-alapú kötegelés és inline kötegelés segítségével.
Előre jelzett kimenetek (Predicted Outputs) (5–7. leckék)
Tudod, hogyan csökkentsd a generálás késleltetését egy kimeneti előrejelzés biztosításával, különösen kód- és szövegszerkesztés esetén.
Idézetek és hivatkozások (8–10. leckék)
Tudod, hogyan horgonyozd le az LLM válaszait ellenőrzött forrásokban, hogyan elemezd az idézeteket, és hogyan építs megbízható RAG folyamatokat.
Megfigyelés (Observability) (11–16. leckék)
Tudod, hogyan kövesd nyomon az alkalmazásodat OpenTelemetry segítségével, hogyan böngéssz éles nyomkövetéseket, hogyan automatizáld a minőségértékelést értékelőkkel, hogyan építs adathalmazokat, és hogyan mérj meg minden egyes verziót offline kiértékelésekkel.
Javasolt következő lépések
Ezeknek a készségeknek a megszilárdítására a legjobb módszer, ha olyan sorrendben alkalmazod őket, amely a legtöbb hasznot hozza az éles környezeted számára. Kezdj egy kötegelt folyamat telepítésével egy konkrét szervezeti használati esetre – havi osztályozás, katalógus-gazdagítás –, mivel ez a leggyorsabb eredmény, amit demonstrálhatsz. Ezután integráld az Előre jelzett kimeneteket (Predicted Outputs) mindenhol, ahol az eszközeid meglévő kódokat vagy dokumentumokat szerkesztenek: a késleltetés csökkenése napokon belül mérhető. Adj hozzá idézéseket a RAG rendszeredhez, amint a felhasználók a döntéshozatalhoz kezdik használni a válaszokat. Végül, a megfigyelés a nyomkövetések küldésével kezdődik, ami egy egyszerű API-kulccsal már lehetséges; az Explorer és az offline kiértékelések azonban Enterprise szintű szervezetet igényelnek. Az Enterprise csomag az, amely az első három kezdeményezést folyamatos fejlesztési ciklussá alakítja át, nem pedig egyszeri telepítésekké.
Főbb megállapítások
- A folyamat a következő ciklust követi: nyomkövetés és felderítés, értékelő, adathalmaz létrehozása, kiértékelés, iteráció
- Minden éles incidensből lehet teszteset, és minden jelölt verziónak teljesítenie kell a kitűzött célokat
- Automatizáld a ciklust az SDK-val (
traces.search,datasets.create_record,evaluation.run), és futtasd rendszeres időközönként - Ezen kurzus négy területe (kötegelt feldolgozás, előre jelzett kimenetek, idézetek, megfigyelés) kiegészíti egymást a robusztus AI élesítés érdekében
Teszteld a tudásodat!
Kötegelt feldolgozás, késleltetés, idézetek, megfigyelés: az élesítés négy pillére.
1. Mikor a Kötegelt következtetés (Batch Inference) a helyes választás?
Válasz: Nagy volumenű, valós idejű követelmények nélküli eseteknél: aszinkron JSONL feladatok (vagy inline, legfeljebb 10 ezer kérésig) csökkentett költséggel – osztályozás, gazdagítás, tömeges generálás.
2. Mik azok az Előre jelzett kimenetek (Predicted Outputs)?
Válasz: Egy gyorsítási technika, amikor a válasz nagy mértékben előre jelezhető (meglévő szöveg szerkesztése, sablonok): te biztosítod az előrejelzést, és a modell csak a különbségeket „fizeti meg“ – a késleltetés jelentősen csökken.
3. Mire tesznek lehetővé a Reference Objecttel ellátott idézetek?
Válasz: A válasz minden egyes állításának összekapcsolására a forrásaival egy RAG rendszerben: ellenőrizhető válaszok, csökkent hallucináció – a bizalom a termék tulajdonságává válik.
4. Mit csinálsz az Explorerben?
Válasz: Éles nyomkövetéseket keresel és vizsgálsz meg – kifejezésnyelvet használva a service_name, status_code, duration_ns vagy span attribútumokon –, hogy megtaláld a problémás kéréseket, majd teszteseteket készíts belőlük: ez bármilyen fejlesztés nyersanyaga.
5. Hogyan működnek együtt az értékelők, az adathalmazok és a kiértékelések?
Válasz: Az értékelők automatikusan minősítenek (LLM-as-judge), az adathalmazok felhalmozzák az éles környezetből származó teszteseteket, az offline kiértékelések pedig minden egyes verziót megmérnek ezekkel az adathalmazokkal szemben, PASS/FAIL célokat kitűzve – ez a nyomkövetés → értékelő → létrehozás → kiértékelés ciklus.
A kurzus záró folyamata mind a négy területet összekapcsolja: gazdaságos termelés, gyors válaszadás, válaszok forrásolása, megfigyelés – érett élesítés egyetlen munkafolyamatban.