Pajp end-to-end: traċċi, ġudikanti, datasets, evalwazzjonijiet
F'din il-paġna
Lezzjon miktub mill-ġdid fit-2 ta’ Novembru 2026 abbażi tad-dokumentazzjoni Observability ta’ Mistral u l-SDK
mistralai3.7.0: il-pajp issa jgħaqqad it-traċċi, il-ġudikanti, id-datasets u l-evalwazzjonijiet offline. Il-karatteristika “Campaigns” u l-metodichat_completion_events.search,campaigns.*, uimport_from_explorermill-verżjoni preċedenti ma jeżistux aktar. Sorsi: Esplora t-traċċi · Evalwazzjonijiet offline.
Il-fluss tax-xogħol tal-observabbiltà end-to-end
Issa tgħallimt kull komponent tal-istack tal-observabbiltà ta’ Mistral. Din il-lezzjoni finali tgħaqqad il-biċċiet f’pajp sħiħ li tista’ tirriproduċi u tadatta għall-kuntest tal-produzzjoni tiegħek.
Traċċa u esplora
Attiva t-telemetrija, imbagħad iffiltra t-traċċi tal-aħħar 7 ijiem fl-Explorer: żbalji, bil-mod, tweġibiet suspettużi. Innota l-espressjoni ta' tfittxija.
Iġġudika
Ifformalizza l-kriterju tal-kwalità inkwistjoni f'ġudikant (klassifikazzjoni jew rigressjoni), validat fuq 10 sa 20 każ magħruf.
Ibni dataset
Ikkonverti l-ispans problematiċi f'rekords, bl-output mistenni kkoreġut manwalment.
Evalwa
Kejjel il-verżjoni attwali u mbagħad kull varjant kontra dan id-dataset, b'objettivi PASS/FAIL.
Itera
Iddispjaċċja l-varjant rebbieħ, żomm id-dataset bħala guardrail kontra r-regressjoni, u erġa' ibda.
Implimentazzjoni f’Python
L-iskritt ta’ hawn taħt jawtomatizza l-passi 1, 3 u 4; il-ġudikant għall-pass 2 jinħoloq darba biss, bħal fil-Lezzjoni 13. Jikkoegżistu żewġ klijenti: il-klijent tal-SDK mistralai għat-traċċi u d-datasets, u l-klijent mistralai-evaluations għall-evalwazzjoni.
import asyncio
import os
from datetime import datetime, timedelta, timezone
from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations
key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)
# 1. Identifika t-traċċi falluti mill-ġimgħa
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
from_=now - timedelta(days=7),
to=now,
search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
print(trace.trace_id, trace.root_span_name)
# 3. Żid każijiet riveduti u kkoreġuti manwalment mad-dataset
corrected_cases = [
{"ticket": "Payment refused even though my card is valid.", "category": "billing"},
{"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
name="Support incidents — week 44",
description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)
# 4. Evalwa l-verżjoni kandidata (kompitu u preċiżjoni: ara l-Lezzjoni 14)
async def main():
run = await evaluations.evaluation.run(
project=Project(name="Ticket sorting"),
evaluation=Evaluation(name="Week 44 non-regression"),
system=System(name="medium-prompt-v2", params={
"model": "mistral-medium-latest",
"system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
}),
dataset=Dataset(id=dataset.id),
task=task,
evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
)
run.show(level="records")
asyncio.run(main())
Meta tiġi eżegwita kull ġimgħa, din l-iskritt tikber id-dataset ta’ non-regressjoni b’inċidenti reali, u kull verżjoni kandidata trid tilħaq l-objettivi tagħha fuq dan id-dataset qabel ma tiġi ddispjaċċjata.
Sommarju tal-kors
Dan il-kors gwidak permezz ta’ erba’ oqsma essenzjali għall-produzzjoni tal-AI ma’ Mistral:
Inferenza Batch (Lezzjonijiet 1-4)
Taf kif tipproċessa miljuni ta’ talbiet bi spiża mnaqqsa, billi tuża l-format JSONL, il-batching tal-fajls u l-batching inline.
Outputs Ippreditti (Lezzjonijiet 5-7)
Taf kif tnaqqas il-latency tal-ġenerazzjoni billi tipprovdi prevażjoni tal-output, partikolarment għall-kodiċi u l-editjar tat-test.
Ċitazzjonijiet u Referenzi (Lezzjonijiet 8-10)
Taf kif tirranġa t-tweġibiet tal-LLM tiegħek f’sorsi vverifikati, tipparsja ċ-ċitazzjonijiet, u tibni pajpijiet RAG affidabbli.
Observabbiltà (Lezzjonijiet 11-16)
Taf kif traċċja l-applikazzjoni tiegħek b’OpenTelemetry, tesplora t-traċċi tal-produzzjoni, tawtomatizza l-evalwazzjoni tal-kwalità b’ġudikanti, tibni datasets, u tkejjel kull verżjoni permezz ta’ evalwazzjonijiet offline.
Passi suġġeriti li jmiss
L-aħjar mod biex issaħħaħ dawn il-ħiliet huwa li tapplikahom fl-ordni li tibbenefika l-aktar lill-ambjent tal-produzzjoni tiegħek. Ibda billi tiddispjaċċja pajp batch fuq każ ta’ użu konkret fl-organizzazzjoni tiegħek—klassifikazzjoni ta’ kull xahar, arrikkiment tal-katalogu—għax dan huwa l-aktar qligħ rapidu biex turi r-riżultati. Imbagħad, integra l-Outputs Ippreditti fejn l-għodod tiegħek jeditjaw kodiċi jew dokumenti eżistenti: il-qligħ fil-latency huwa kejjel fi żmien jiem. Żid iċ-ċitazzjonijiet mas-sistema RAG tiegħek hekk kif l-utenti jibdew jiddependu fuq it-tweġibiet tagħha biex jieħdu deċiżjonijiet. Fl-aħħar nett, l-observabbiltà tibda bl-ibgħat tat-traċċi, li huwa possibbli b’ċavetta API sempliċi; l-Explorer u l-evalwazzjonijiet offline jeħtieġu organizzazzjoni Enterprise. Huwa l-livell Enterprise li se jikkonverti l-ewwel tliet inizjattivi f’ċiklu ta’ titjib kontinwu minflok dispjaċċjar waħdieni.
Punti Ewlenin
- Il-pajp isegwi ċ-ċiklu: traċċa u esplora, iġġudika, ibni dataset, evalwa, itera
- Kull inċident tal-produzzjoni jista’ jsir każ ta’ test, u kull verżjoni kandidata trid tilħaq l-objettivi tagħha
- Awtomatizza ċ-ċiklu bl-SDK (
traces.search,datasets.create_record,evaluation.run) u eżegwih f’intervalli regolari - L-erba’ oqsma ta’ dan il-kors (batch, outputs ippreditti, ċitazzjonijiet, observabbiltà) jikkomplementaw lil xulxin għal produzzjoni robusta tal-AI
Ittestja l-għarfien tiegħek
Batch, latency, ċitazzjonijiet, observabbiltà: l-erba’ pilastri tal-produzzjoni.
1. Meta hija l-għażla t-tajba l-Inferenza Batch?
Tweġiba: Għal volumi għoljin mingħajr rekwiżiti ta’ ħin reali: xogħlijiet asinkroni JSONL (jew inline sa 10K talba) bi spiża mnaqqsa—klassifikazzjoni, arrikkiment, ġenerazzjoni tal-massa.
2. X'in huma l-Outputs Ippreditti?
Tweġiba: Aċċelerazzjoni meta t-tweġiba hija kbira parti prevedibbli (editjar ta’ test eżistenti, mudelli): inti tipprovdi l-prevażjoni, u l-mudell biss “iħallas” għad-differenzi—il-latency tonqos b’mod sinifikanti.
3. X'jippermettu ċ-ċitazzjonijiet b'Oġġett ta' Referenza?
Tweġiba: Il-linking ta’ kull dikjarazzjoni fit-tweġiba mas-sorsi tagħha f’RAG: tweġibiet verifikabbli, alluċinazzjonijiet imnaqqsa—il-fiduċja ssir proprjetà tal-prodott.
4. X'tagħmel fl-Explorer?
Tweġiba: Fittex u spezzjona t-traċċi tal-produzzjoni—billi tuża lingwa ta’ espressjoni fuq service_name, status_code, duration_ns, jew attributi tal-ispans—biex issib talbiet problematiċi, imbagħad ibdelhom f’każijiet ta’ test: il-materja prima għal kull titjib.
5. Kif jaħdmu flimkien il-ġudikanti, id-datasets u l-evalwazzjonijiet?
Tweġiba: Il-ġudikanti jevalwaw awtomatikament (LLM-as-judge), id-datasets jakkumulaw każijiet ta’ test meħuda mill-produzzjoni, u l-evalwazzjonijiet offline jkejlu kull verżjoni kontra dawn id-datasets b’objettivi PASS/FAIL—iċ-ċiklu traċċa → ġudikant → ibni → evalwa.
Il-pajp finali tal-kors jgħaqqad it-tnejn li huma flimkien: ipproduċi ekonomikament, wieġeb malajr, issorsja t-tweġibiet, osserva—produzzjoni matura f’fluss tax-xogħol wieħed.