Evalwazzjonijiet offline: kejjel qabel ma tiddispjega
F'din il-paġna
Lezzjon miktuba mill-ġdid fit-2 ta’ Novembru 2026 abbażi tad-dokumentazzjoni ta’ Mistral dwar l-Offline evaluations: il-”Campaigns” mill-verżjoni preċedenti u l-metodi
campaigns.*tagħhom ma jeżistux aktar. L-evalwazzjoni fuq skala kbissa issa tuża l-SDKmistralai-evaluations, li jħaddem kompitu fuq sett ta’ dejta, jiskorjah bl-użu ta’ evalwaturi, u jippubblika r-riżultati fi Studio. Sorsi: Offline evaluations · Evaluators · Goals. Aġġornament fit-3 ta’ Novembru:mistralai-evaluations0.9.1 jeħtieġmistralai< 3 u jissostitwixxi l-SDK 3.x b’verżjoni 2.x meta jiġi installat flimkien miegħu; il-lezzjon tirrakkomanda l-użu ta’ ambjent iddedikat (dipendenzi fuq PyPI).
Mill-każijiet singoli għall-iskala
Imħallef validat fuq għoxrin konversazzjoni ma jgħidlek xejn dwar l-applikazzjoni tiegħek b’mod ġenerali. Biex tiddeċiedi jekk prompt, mudell jew setting ġdid huwiex aħjar minn dak attwali, trid tkejjlu kontra sett rappreżentattiv u konsistenti ta’ każijiet u tqabbel ir-riżultati. Dan hu r-rwol tal-evalwazzjonijiet offline.
Dawn huma rriżervati għal organizzazzjonijiet Enterprise u jeħtieġu Python 3.12 jew aktar tard:
pip install mistralai-evaluations
Installah f’ambjent separat. Il-verżjoni 0.9.1, l-aħħar waħda sal-3 ta’ Novembru 2026, teħtieġ mistralai 2.x (mistralai>=2.7.1,<3). F’ambjent li diġà fih l-SDK 3.x, pip ineħħih u jinstalla verżjoni 2.x, mingħajr twissija ħlief il-linji tal-output tiegħu stess: verifikat ma’ mistralai 3.7.0, sostitwit b’2.10.1. Ambjent virtwali ddedikat għall-evalwazzjonijiet jipprevjeni regrezzjonijiet fl-applikazzjoni tiegħek.
Il-mudell mentali
L-SDK isegwi fluss sempliċi:
Dataset → Task → Evaluators → Results
- Dataset: lista ta’ rekords (dizzjunarji) jew dataset ta’ Studio
- Task: funzjoni, preferibbilment asinkrona, li tirċievi
TaskContextu tipproduċi output—dan hu l-kodiċi li qed tevalwa - Evaluators: funzjonijiet li jirċievu
ScorerContextu jiskorjaw kull output - Results: statistika u punteġġi għal kull rekord, murija fit-terminal u ppubblikati fi Studio
L-ewwel evalwazzjoni
import asyncio
import os
from mistralai.evaluations import (
Evaluation, Evaluator, Goal, Mistral, Project, ScorerContext, System, TaskContext,
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
dataset = [
{"ticket": "I haven't been able to log in since this morning.", "categorie": "acces"},
{"ticket": "My October invoice charges the same subscription twice.", "categorie": "facturation"},
{"ticket": "The PDF export crashes as soon as the report exceeds 50 pages.", "categorie": "bug"},
]
async def tache(ctx: TaskContext) -> str:
response = await client.chat.complete_async(
model=str(ctx.system.params["model"]),
messages=[
{"role": "system", "content": str(ctx.system.params["system_prompt"])},
{"role": "user", "content": ctx.input_record["ticket"]},
],
)
return str(response.choices[0].message.content)
def exactitude(ctx: ScorerContext) -> int:
return 1 if ctx.input_record["categorie"] == str(ctx.output).strip().lower() else 0
async def main():
run = await client.evaluation.run(
project=Project(name="Tri des tickets"),
evaluation=Evaluation(name="Exactitude du classement"),
system=System(name="small-prompt-v1", params={
"model": "mistral-small-latest",
"system_prompt": "Classe le ticket : acces, facturation ou bug. Réponds par le seul mot.",
}),
dataset=dataset,
task=tache,
evaluators=[
Evaluator(
name="exactitude",
description="1 si la catégorie prédite est la bonne, 0 sinon.",
scorer=exactitude,
goal=Goal.gte(0.8),
),
],
)
run.show(level="records")
asyncio.run(main())
Ir-riżultati jidhru fit-terminal u jiġu ppubblikati fi Studio taħt Observability > Evaluate > Evaluations. L-SDK jikkalkula l-medja, il-minimu, il-massimu u d-devjazzjoni standard għal kull evalwatur.
Ippreferi kompitu asinkronu għal proċessi li jieħdu żmien twil: kompitu sinkronu jaħdem fuq il-loop tal-avvenimenti li jibgħat ukoll sinjali ta’ heartbeat għat-tħaddim lejn Studio, u sejħa mblukkata għal diversi minuti tista’ tikkawża li t-tħaddim jiġi mmarkat bħala kkanċellat.
Żewġ tipi ta’ evalwaturi
Evalwatur jassoċja isem, deskrizzjoni fakultattiva, funzjoni ta’ skorar u, jekk ikun meħtieġ, għan. Il-funzjoni tista’ tkun:
- Ibbażata fuq regoli: kalkolu dirett fuq l-output—eżatt, mgħaġġel u bla ħlas;
- Imħallef LLM: funzjoni li ssejjaħ mudell biex tiskorja dak li hu diffiċli li tiktbu b’kodiċi—utilità, preċiżjoni fattwali, ton.
JUDGE_PROMPT = """Tu es un correcteur exigeant. Note de 0 à 5 l'utilité de la réponse
pour la request ci-dessous. Réponds par le seul chiffre.
Demande : {request}
Réponse : {response}
"""
def judge_utility(ctx: ScorerContext) -> int:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": JUDGE_PROMPT.format(
request=ctx.input_record["ticket"], response=ctx.output)}],
temperature=0,
)
raw = str(response.choices[0].message.content).strip()
return int(raw[0]) if raw[:1].isdigit() else 0
Tista’ tgħaqqad liberament iż-żewġ tipi f’tħaddim wieħed: għaddihom flimkien fil-lista evaluators. Evalwatur jista’ jirritorna wkoll stringa jew boolean; l-SDK imbagħad jipproduċi distribuzzjoni tal-frekwenza minflok medji.
Tqabbil ta’ verżjonijiet
L-oġġett System jaqbad il-konfigurazzjoni tal-kompitu: mudell, temperatura, prompt tas-sistema, jew kwalunkwe setting ieħor, f’dizzjunarju b’forma ħielsa. Kull tħaddim jirrekordja s-System tiegħu, u Studio jippermettilek tqabbel it-tħaddimijiet ħdejn xulxin. Biex tiddeċiedi bejn żewġ prompts jew żewġ mudelli, erġa’ ħaddem l-istess evalwazzjoni b’żewġ oġġetti System differenti, mingħajr ma tmiss il-kodiċi tal-kompitu.
Stabbiliment ta’ għanijiet
Għan ibiddel punteġġ f’verdett PASS jew FAIL: Goal.gte(0.8) jeħtieġ medja ta’ mill-inqas 0.8, Goal.lte(...) jistabbilixxi limitu massimu, u Goal.between(...) jiddefinixxi firxa. Kull għan jimmira l-medja b’mod default, jew statistika oħra b’metric ("min", "max", "std"): Goal.gte(0.8, metric="min") jeħtieġ li kull rekord jilħaq 0.8. Dan hu dak li jagħmel evalwazzjoni bħala guardrail: verżjoni ġdida li tnaqqas punteġġ taħt l-għan tiegħu ma tmurx għall-produzzjoni.
Punti Ewlenin
- L-evalwazzjonijiet offline (
mistralai-evaluations, Python 3.12+, organizzazzjonijiet Enterprise) jissostitwixxu l-Campaigns qodma - Dataset, kompitu, evalwaturi, riżultati:
client.evaluation.run(...)iqabbad kollox flimkien u jippubblika fi Studio - L-evalwaturi huma funzjonijiet: regoli eżatti jew imħallfin LLM, magħquda liberament
Systemjirrekordja l-konfigurazzjoni evalwata u jippermetti t-tqabbil tal-verżjonijiet- L-għanijiet (
Goal.gte,Goal.lte,Goal.between) jipprovdu verdetti PASS jew FAIL