Meastóireachtaí as líne: déan tomhas sula ndéanann tú imlonnú
Ar an leathanach seo
Athscríodh an ceacht seo an 2 Samhain, 2026 bunaithe ar dhoiciméadú Meastóireachtaí as líne ó Mistral: níl na “Feachtais” ón leagan roimhe seo ná a modhanna
campaigns.*ann a thuilleadh. Úsáideann meastóireacht ar scála mór an SDKmistralai-evaluationsanois, a ritheann tasc ar thacar sonraí, a scóráil le measúnaitheoirí, agus a fhoilsíonn na torthaí in Studio. Foincí: Meastóireachtaí as líne · Measúnaitheoirí · Spriocanna. Nuashonrú an 3 Samhain: éilíonnmistralai-evaluations0.9.1 go mbeadhmistralai< 3 ann, agus cuireann sé leagan 2.x in ionad an SDK 3.x nuair a shuiteáiltear in éineacht é; molann an ceacht timpeallacht tiomnaithe a úsáid (spleáchais ar PyPI).
Ag bogadh ó chásanna aonair go dtí scála
Ní insíonn breitheamh a bailíochtaíodh ar fhiche comhrá duit faoinár bhfeidhmchlár ina iomláine. Chun a chinneadh an bhfuil leid nua, samhalt nua, nó socraíocht nua níos fearr ná an ceann reatha, caithfidh tú é a thomhas i gcoinne tacair ionadaíoch, comhsheasmhach cásanna agus na torthaí a chur i gcomparáid. Is é seo ról na meastóireachtaí as líne.
Tá siad seo curtha in áirithe d’eagraíochtaí Fiontar agus éilíonn siad Python 3.12 nó níos déanaí:
pip install mistralai-evaluations
Suiteáil é i dtimpeallacht ar leith. Éilíonn leagan 0.9.1, an ceann is déanaí ón 3 Samhain, 2026, mistralai 2.x (mistralai>=2.7.1,<3). I dtimpeallacht ina bhfuil an SDK 3.x cheana féin, díshuiteálann pip é agus suiteálann sé leagan 2.x, gan aon rabhadh seachas a línte aschuir: fíoraithe le mistralai 3.7.0, arna athsholáthar ag 2.10.1. Coscann timpeallacht fhíorúil tiomnaithe do mheastóireachtaí cúlúcháin i d’fheidhmchlár.
An tsamhail mheabhrach
Leanann an SDK sreabhadh simplí:
Tacar Sonraí → Tasc → Measúnaitheoirí → Torthaí
- Tacar Sonraí: liosta taifead (focláir) nó tacar sonraí Studio
- Tasc: feidhm, go preferably neamhshioncrónach, a fhaigheann
TaskContextagus a tháirgeann aschur—is é seo an cód atá tú a mheas - Measúnaitheoirí: feidhmeanna a fhaigheann
ScorerContextagus a scóráil gach aschur - Torthaí: staitisticí agus scóir in aghaidh an taifid, arna dtaispeáint sa teirminéal agus arna bhfoilsiú in Studio
Chéad mheastóireacht
import asyncio
import os
from mistralai.evaluations import (
Evaluation, Evaluator, Goal, Mistral, Project, ScorerContext, System, TaskContext,
)
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
dataset = [
{"ticket": "I haven't been able to log in since this morning.", "categorie": "acces"},
{"ticket": "My October invoice charges the same subscription twice.", "categorie": "facturation"},
{"ticket": "The PDF export crashes as soon as the report exceeds 50 pages.", "categorie": "bug"},
]
async def tache(ctx: TaskContext) -> str:
response = await client.chat.complete_async(
model=str(ctx.system.params["model"]),
messages=[
{"role": "system", "content": str(ctx.system.params["system_prompt"])},
{"role": "user", "content": ctx.input_record["ticket"]},
],
)
return str(response.choices[0].message.content)
def exactitude(ctx: ScorerContext) -> int:
return 1 if ctx.input_record["categorie"] == str(ctx.output).strip().lower() else 0
async def main():
run = await client.evaluation.run(
project=Project(name="Tri des tickets"),
evaluation=Evaluation(name="Exactitude du classement"),
system=System(name="small-prompt-v1", params={
"model": "mistral-small-latest",
"system_prompt": "Classe le ticket : acces, facturation ou bug. Réponds par le seul mot.",
}),
dataset=dataset,
task=tache,
evaluators=[
Evaluator(
name="exactitude",
description="1 si la catégorie prédite est la bonne, 0 sinon.",
scorer=exactitude,
goal=Goal.gte(0.8),
),
],
)
run.show(level="records")
asyncio.run(main())
Feictear torthaí sa teirminéal agus foilsítear iad in Studio faoi Inbhreathnaitheacht > Measúnú > Meastóireachtaí. Ríomhann an SDK an meán, an t-íosmhéid, an t-uasmhéid, agus an diall caighdeánach do gach measúnaitheoir.
B’fhearr tasc neamhshioncrónach do phróisis fhada: ritheann tasc sioncrónach ar an lúb imeachta a sheolann comharthaí buille croí don rith chuig Studio freisin, agus is féidir le glaonna a bhlocáiltear ar feadh roinnt nóiméad a bheith ina chúis leis an rith a mharcáil mar chealaithe.
Dhá chineál measúnaitheora
Baineann measúnaitheoir ainm, cur síos roghnach, feidhm scórála, agus sprioc más gá, le chéile. Is féidir leis an bhfeidhm a bheith:
- Bunaithe ar rialacha: ríomh díreach ar an aschur—cruinn, tapa, agus saor in aisce;
- Breitheamh LLM: feidhm a ghlaonn ar shamhalt chun scóráil a dhéanamh ar rud atá deacair a chódú—úsáideacht, cruinneas fíriciúil, tón.
JUDGE_PROMPT = """Tu es un correcteur exigeant. Note de 0 à 5 l'utilité de la réponse
pour la request ci-dessous. Réponds par le seul chiffre.
Demande : {request}
Réponse : {response}
"""
def judge_utility(ctx: ScorerContext) -> int:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": JUDGE_PROMPT.format(
request=ctx.input_record["ticket"], response=ctx.output)}],
temperature=0,
)
raw = str(response.choices[0].message.content).strip()
return int(raw[0]) if raw[:1].isdigit() else 0
Is féidir leat an dá chineál a mheascadh go saor i rith amháin: cuir le chéile iad sa liosta evaluators. Is féidir le measúnaitheoir freisin teaghrán nó booleán a thabhairt ar ais; ansin táirgeann an SDK dáileadh minicíochta seachas meáin.
Leaganacha a chur i gcomparáid
Gabhann an oibiacht System cumraíocht an tasc: samhalt, teocht, leid córais, nó aon socraíocht eile, i bhfoclár foirm saor. Taifeadann gach rith a System féin, agus ligeann Studio duit rith a chur i gcomparáid taobh le taobh. Chun cinneadh a dhéanamh idir dhá leid nó dhá shamhalt, déan an mheastóireacht chéanna arís le dhá oibiacht System éagsúla, gan an cód tasc a athrú.
Spriocanna a shocrú
Tiontaíonn sprioc scór ina bhreithiúnas PASS nó FAIL: éilíonn Goal.gte(0.8) meán de 0.8 ar a laghad, socraíonn Goal.lte(...) uasteorainn, agus sainíonn Goal.between(...) raon. Díríonn gach sprioc ar an meán de réir réamhshocraithe, nó ar staitistic eile le metric ("min", "max", "std"): éilíonn Goal.gte(0.8, metric="min") go sroicheann gach taifead 0.8. Is é seo a dhéanann cosantóir de mheastóireacht: ní théann leagan nua a laghdaíonn scór faoina sprioc go dtí an táirgeadh.
Príomhphointí
- Cuireann meastóireachtaí as líne (
mistralai-evaluations, Python 3.12+, eagraíochtaí Fiontar) Feachtais sheanda in ionad - Tacar sonraí, tasc, measúnaitheoirí, torthaí: slabhraíonn
client.evaluation.run(...)é seo go léir agus foilsíonn sé in Studio - Is feidhmeanna iad measúnaitheoirí: rialacha cruinne nó breithiúna LLM, arna gcomhcheangal go saor
- Taifeadann
Systeman chumraíocht mheasúnaithe agus cumasaíonn sé comparáid leagan - Soláthraíonn spriocanna (
Goal.gte,Goal.lte,Goal.between) breithiúnais PASS nó FAIL