Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Pajp end-to-end: traċċi, ġudikanti, datasets, evalwazzjonijiet

Lezzjoni 16 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Il-fluss tax-xogħol tal-observabbiltà end-to-end
  2. Implimentazzjoni f’Python
  3. Sommarju tal-kors
  4. Passi suġġeriti li jmiss
  5. Punti Ewlenin
  6. Ittestja l-għarfien tiegħek

Lezzjon miktub mill-ġdid fit-2 ta’ Novembru 2026 abbażi tad-dokumentazzjoni Observability ta’ Mistral u l-SDK mistralai 3.7.0: il-pajp issa jgħaqqad it-traċċi, il-ġudikanti, id-datasets u l-evalwazzjonijiet offline. Il-karatteristika “Campaigns” u l-metodi chat_completion_events.search, campaigns.*, u import_from_explorer mill-verżjoni preċedenti ma jeżistux aktar. Sorsi: Esplora t-traċċi · Evalwazzjonijiet offline.

Il-fluss tax-xogħol tal-observabbiltà end-to-end

Issa tgħallimt kull komponent tal-istack tal-observabbiltà ta’ Mistral. Din il-lezzjoni finali tgħaqqad il-biċċiet f’pajp sħiħ li tista’ tirriproduċi u tadatta għall-kuntest tal-produzzjoni tiegħek.

1

Traċċa u esplora

Attiva t-telemetrija, imbagħad iffiltra t-traċċi tal-aħħar 7 ijiem fl-Explorer: żbalji, bil-mod, tweġibiet suspettużi. Innota l-espressjoni ta' tfittxija.

2

Iġġudika

Ifformalizza l-kriterju tal-kwalità inkwistjoni f'ġudikant (klassifikazzjoni jew rigressjoni), validat fuq 10 sa 20 każ magħruf.

3

Ibni dataset

Ikkonverti l-ispans problematiċi f'rekords, bl-output mistenni kkoreġut manwalment.

4

Evalwa

Kejjel il-verżjoni attwali u mbagħad kull varjant kontra dan id-dataset, b'objettivi PASS/FAIL.

5

Itera

Iddispjaċċja l-varjant rebbieħ, żomm id-dataset bħala guardrail kontra r-regressjoni, u erġa' ibda.

Implimentazzjoni f’Python

L-iskritt ta’ hawn taħt jawtomatizza l-passi 1, 3 u 4; il-ġudikant għall-pass 2 jinħoloq darba biss, bħal fil-Lezzjoni 13. Jikkoegżistu żewġ klijenti: il-klijent tal-SDK mistralai għat-traċċi u d-datasets, u l-klijent mistralai-evaluations għall-evalwazzjoni.

import asyncio
import os
from datetime import datetime, timedelta, timezone

from mistralai.client import Mistral
from mistralai.evaluations import Dataset, Evaluation, Evaluator, Goal, Project, System
from mistralai.evaluations import Mistral as MistralEvaluations

key = os.environ["MISTRAL_API_KEY"]
api = Mistral(api_key=key)
evaluations = MistralEvaluations(api_key=key)

# 1. Identifika t-traċċi falluti mill-ġimgħa
now = datetime.now(timezone.utc)
response = api.beta.observability.traces.search(
    from_=now - timedelta(days=7),
    to=now,
    search_expression="service_name = 'agent-support' AND status_code = 'Error'",
)
for trace in response.traces.results or []:
    print(trace.trace_id, trace.root_span_name)

# 3. Żid każijiet riveduti u kkoreġuti manwalment mad-dataset
corrected_cases = [
    {"ticket": "Payment refused even though my card is valid.", "category": "billing"},
    {"ticket": "Unable to add a colleague to my workspace.", "category": "access"},
]
dataset = api.beta.observability.datasets.create(
    name="Support incidents — week 44",
    description="Cases drawn from failed traces, expected output corrected",
)
for case in corrected_cases:
    api.beta.observability.datasets.create_record(dataset_id=dataset.id, payload=case)


# 4. Evalwa l-verżjoni kandidata (kompitu u preċiżjoni: ara l-Lezzjoni 14)
async def main():
    run = await evaluations.evaluation.run(
        project=Project(name="Ticket sorting"),
        evaluation=Evaluation(name="Week 44 non-regression"),
        system=System(name="medium-prompt-v2", params={
            "model": "mistral-medium-latest",
            "system_prompt": "Classify the ticket: access, billing, or bug. Reply with a single word.",
        }),
        dataset=Dataset(id=dataset.id),
        task=task,
        evaluators=[Evaluator(name="accuracy", scorer=accuracy, goal=Goal.gte(0.9))],
    )
    run.show(level="records")


asyncio.run(main())

Meta tiġi eżegwita kull ġimgħa, din l-iskritt tikber id-dataset ta’ non-regressjoni b’inċidenti reali, u kull verżjoni kandidata trid tilħaq l-objettivi tagħha fuq dan id-dataset qabel ma tiġi ddispjaċċjata.

Sommarju tal-kors

Dan il-kors gwidak permezz ta’ erba’ oqsma essenzjali għall-produzzjoni tal-AI ma’ Mistral:

Inferenza Batch (Lezzjonijiet 1-4)

Taf kif tipproċessa miljuni ta’ talbiet bi spiża mnaqqsa, billi tuża l-format JSONL, il-batching tal-fajls u l-batching inline.

Outputs Ippreditti (Lezzjonijiet 5-7)

Taf kif tnaqqas il-latency tal-ġenerazzjoni billi tipprovdi prevażjoni tal-output, partikolarment għall-kodiċi u l-editjar tat-test.

Ċitazzjonijiet u Referenzi (Lezzjonijiet 8-10)

Taf kif tirranġa t-tweġibiet tal-LLM tiegħek f’sorsi vverifikati, tipparsja ċ-ċitazzjonijiet, u tibni pajpijiet RAG affidabbli.

Observabbiltà (Lezzjonijiet 11-16)

Taf kif traċċja l-applikazzjoni tiegħek b’OpenTelemetry, tesplora t-traċċi tal-produzzjoni, tawtomatizza l-evalwazzjoni tal-kwalità b’ġudikanti, tibni datasets, u tkejjel kull verżjoni permezz ta’ evalwazzjonijiet offline.

Passi suġġeriti li jmiss

L-aħjar mod biex issaħħaħ dawn il-ħiliet huwa li tapplikahom fl-ordni li tibbenefika l-aktar lill-ambjent tal-produzzjoni tiegħek. Ibda billi tiddispjaċċja pajp batch fuq każ ta’ użu konkret fl-organizzazzjoni tiegħek—klassifikazzjoni ta’ kull xahar, arrikkiment tal-katalogu—għax dan huwa l-aktar qligħ rapidu biex turi r-riżultati. Imbagħad, integra l-Outputs Ippreditti fejn l-għodod tiegħek jeditjaw kodiċi jew dokumenti eżistenti: il-qligħ fil-latency huwa kejjel fi żmien jiem. Żid iċ-ċitazzjonijiet mas-sistema RAG tiegħek hekk kif l-utenti jibdew jiddependu fuq it-tweġibiet tagħha biex jieħdu deċiżjonijiet. Fl-aħħar nett, l-observabbiltà tibda bl-ibgħat tat-traċċi, li huwa possibbli b’ċavetta API sempliċi; l-Explorer u l-evalwazzjonijiet offline jeħtieġu organizzazzjoni Enterprise. Huwa l-livell Enterprise li se jikkonverti l-ewwel tliet inizjattivi f’ċiklu ta’ titjib kontinwu minflok dispjaċċjar waħdieni.

Punti Ewlenin

  • Il-pajp isegwi ċ-ċiklu: traċċa u esplora, iġġudika, ibni dataset, evalwa, itera
  • Kull inċident tal-produzzjoni jista’ jsir każ ta’ test, u kull verżjoni kandidata trid tilħaq l-objettivi tagħha
  • Awtomatizza ċ-ċiklu bl-SDK (traces.search, datasets.create_record, evaluation.run) u eżegwih f’intervalli regolari
  • L-erba’ oqsma ta’ dan il-kors (batch, outputs ippreditti, ċitazzjonijiet, observabbiltà) jikkomplementaw lil xulxin għal produzzjoni robusta tal-AI

Ittestja l-għarfien tiegħek

Batch, latency, ċitazzjonijiet, observabbiltà: l-erba’ pilastri tal-produzzjoni.

1. Meta hija l-għażla t-tajba l-Inferenza Batch?

Tweġiba: Għal volumi għoljin mingħajr rekwiżiti ta’ ħin reali: xogħlijiet asinkroni JSONL (jew inline sa 10K talba) bi spiża mnaqqsa—klassifikazzjoni, arrikkiment, ġenerazzjoni tal-massa.

2. X'in huma l-Outputs Ippreditti?

Tweġiba: Aċċelerazzjoni meta t-tweġiba hija kbira parti prevedibbli (editjar ta’ test eżistenti, mudelli): inti tipprovdi l-prevażjoni, u l-mudell biss “iħallas” għad-differenzi—il-latency tonqos b’mod sinifikanti.

3. X'jippermettu ċ-ċitazzjonijiet b'Oġġett ta' Referenza?

Tweġiba: Il-linking ta’ kull dikjarazzjoni fit-tweġiba mas-sorsi tagħha f’RAG: tweġibiet verifikabbli, alluċinazzjonijiet imnaqqsa—il-fiduċja ssir proprjetà tal-prodott.

4. X'tagħmel fl-Explorer?

Tweġiba: Fittex u spezzjona t-traċċi tal-produzzjoni—billi tuża lingwa ta’ espressjoni fuq service_name, status_code, duration_ns, jew attributi tal-ispans—biex issib talbiet problematiċi, imbagħad ibdelhom f’każijiet ta’ test: il-materja prima għal kull titjib.

5. Kif jaħdmu flimkien il-ġudikanti, id-datasets u l-evalwazzjonijiet?

Tweġiba: Il-ġudikanti jevalwaw awtomatikament (LLM-as-judge), id-datasets jakkumulaw każijiet ta’ test meħuda mill-produzzjoni, u l-evalwazzjonijiet offline jkejlu kull verżjoni kontra dawn id-datasets b’objettivi PASS/FAIL—iċ-ċiklu traċċa → ġudikant → ibni → evalwa.

Il-pajp finali tal-kors jgħaqqad it-tnejn li huma flimkien: ipproduċi ekonomikament, wieġeb malajr, issorsja t-tweġibiet, osserva—produzzjoni matura f’fluss tax-xogħol wieħed.