Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Meastóireachtaí as líne: déan tomhas sula ndéanann tú imlonnú

Ceacht 14 as 16 Nuashonraithe 3 Samhain 2026 Ardleibhéal
Ar an leathanach seo
  1. Ag bogadh ó chásanna aonair go dtí scála
  2. An tsamhail mheabhrach
  3. Chéad mheastóireacht
  4. Dhá chineál measúnaitheora
  5. Leaganacha a chur i gcomparáid
  6. Spriocanna a shocrú
  7. Príomhphointí

Athscríodh an ceacht seo an 2 Samhain, 2026 bunaithe ar dhoiciméadú Meastóireachtaí as líne ó Mistral: níl na “Feachtais” ón leagan roimhe seo ná a modhanna campaigns.* ann a thuilleadh. Úsáideann meastóireacht ar scála mór an SDK mistralai-evaluations anois, a ritheann tasc ar thacar sonraí, a scóráil le measúnaitheoirí, agus a fhoilsíonn na torthaí in Studio. Foincí: Meastóireachtaí as líne · Measúnaitheoirí · Spriocanna. Nuashonrú an 3 Samhain: éilíonn mistralai-evaluations 0.9.1 go mbeadh mistralai < 3 ann, agus cuireann sé leagan 2.x in ionad an SDK 3.x nuair a shuiteáiltear in éineacht é; molann an ceacht timpeallacht tiomnaithe a úsáid (spleáchais ar PyPI).

Ag bogadh ó chásanna aonair go dtí scála

Ní insíonn breitheamh a bailíochtaíodh ar fhiche comhrá duit faoinár bhfeidhmchlár ina iomláine. Chun a chinneadh an bhfuil leid nua, samhalt nua, nó socraíocht nua níos fearr ná an ceann reatha, caithfidh tú é a thomhas i gcoinne tacair ionadaíoch, comhsheasmhach cásanna agus na torthaí a chur i gcomparáid. Is é seo ról na meastóireachtaí as líne.

Tá siad seo curtha in áirithe d’eagraíochtaí Fiontar agus éilíonn siad Python 3.12 nó níos déanaí:

pip install mistralai-evaluations

Suiteáil é i dtimpeallacht ar leith. Éilíonn leagan 0.9.1, an ceann is déanaí ón 3 Samhain, 2026, mistralai 2.x (mistralai>=2.7.1,<3). I dtimpeallacht ina bhfuil an SDK 3.x cheana féin, díshuiteálann pip é agus suiteálann sé leagan 2.x, gan aon rabhadh seachas a línte aschuir: fíoraithe le mistralai 3.7.0, arna athsholáthar ag 2.10.1. Coscann timpeallacht fhíorúil tiomnaithe do mheastóireachtaí cúlúcháin i d’fheidhmchlár.

An tsamhail mheabhrach

Leanann an SDK sreabhadh simplí:

Tacar Sonraí  →  Tasc  →  Measúnaitheoirí  →  Torthaí
  • Tacar Sonraí: liosta taifead (focláir) nó tacar sonraí Studio
  • Tasc: feidhm, go preferably neamhshioncrónach, a fhaigheann TaskContext agus a tháirgeann aschur—is é seo an cód atá tú a mheas
  • Measúnaitheoirí: feidhmeanna a fhaigheann ScorerContext agus a scóráil gach aschur
  • Torthaí: staitisticí agus scóir in aghaidh an taifid, arna dtaispeáint sa teirminéal agus arna bhfoilsiú in Studio

Chéad mheastóireacht

import asyncio
import os

from mistralai.evaluations import (
    Evaluation, Evaluator, Goal, Mistral, Project, ScorerContext, System, TaskContext,
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

dataset = [
    {"ticket": "I haven't been able to log in since this morning.", "categorie": "acces"},
    {"ticket": "My October invoice charges the same subscription twice.", "categorie": "facturation"},
    {"ticket": "The PDF export crashes as soon as the report exceeds 50 pages.", "categorie": "bug"},
]


async def tache(ctx: TaskContext) -> str:
    response = await client.chat.complete_async(
        model=str(ctx.system.params["model"]),
        messages=[
            {"role": "system", "content": str(ctx.system.params["system_prompt"])},
            {"role": "user", "content": ctx.input_record["ticket"]},
        ],
    )
    return str(response.choices[0].message.content)


def exactitude(ctx: ScorerContext) -> int:
    return 1 if ctx.input_record["categorie"] == str(ctx.output).strip().lower() else 0


async def main():
    run = await client.evaluation.run(
        project=Project(name="Tri des tickets"),
        evaluation=Evaluation(name="Exactitude du classement"),
        system=System(name="small-prompt-v1", params={
            "model": "mistral-small-latest",
            "system_prompt": "Classe le ticket : acces, facturation ou bug. Réponds par le seul mot.",
        }),
        dataset=dataset,
        task=tache,
        evaluators=[
            Evaluator(
                name="exactitude",
                description="1 si la catégorie prédite est la bonne, 0 sinon.",
                scorer=exactitude,
                goal=Goal.gte(0.8),
            ),
        ],
    )
    run.show(level="records")


asyncio.run(main())

Feictear torthaí sa teirminéal agus foilsítear iad in Studio faoi Inbhreathnaitheacht > Measúnú > Meastóireachtaí. Ríomhann an SDK an meán, an t-íosmhéid, an t-uasmhéid, agus an diall caighdeánach do gach measúnaitheoir.

B’fhearr tasc neamhshioncrónach do phróisis fhada: ritheann tasc sioncrónach ar an lúb imeachta a sheolann comharthaí buille croí don rith chuig Studio freisin, agus is féidir le glaonna a bhlocáiltear ar feadh roinnt nóiméad a bheith ina chúis leis an rith a mharcáil mar chealaithe.

Dhá chineál measúnaitheora

Baineann measúnaitheoir ainm, cur síos roghnach, feidhm scórála, agus sprioc más gá, le chéile. Is féidir leis an bhfeidhm a bheith:

  • Bunaithe ar rialacha: ríomh díreach ar an aschur—cruinn, tapa, agus saor in aisce;
  • Breitheamh LLM: feidhm a ghlaonn ar shamhalt chun scóráil a dhéanamh ar rud atá deacair a chódú—úsáideacht, cruinneas fíriciúil, tón.
JUDGE_PROMPT = """Tu es un correcteur exigeant. Note de 0 à 5 l'utilité de la réponse
pour la request ci-dessous. Réponds par le seul chiffre.

Demande : {request}
Réponse : {response}
"""


def judge_utility(ctx: ScorerContext) -> int:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": JUDGE_PROMPT.format(
            request=ctx.input_record["ticket"], response=ctx.output)}],
        temperature=0,
    )
    raw = str(response.choices[0].message.content).strip()
    return int(raw[0]) if raw[:1].isdigit() else 0

Is féidir leat an dá chineál a mheascadh go saor i rith amháin: cuir le chéile iad sa liosta evaluators. Is féidir le measúnaitheoir freisin teaghrán nó booleán a thabhairt ar ais; ansin táirgeann an SDK dáileadh minicíochta seachas meáin.

Leaganacha a chur i gcomparáid

Gabhann an oibiacht System cumraíocht an tasc: samhalt, teocht, leid córais, nó aon socraíocht eile, i bhfoclár foirm saor. Taifeadann gach rith a System féin, agus ligeann Studio duit rith a chur i gcomparáid taobh le taobh. Chun cinneadh a dhéanamh idir dhá leid nó dhá shamhalt, déan an mheastóireacht chéanna arís le dhá oibiacht System éagsúla, gan an cód tasc a athrú.

Spriocanna a shocrú

Tiontaíonn sprioc scór ina bhreithiúnas PASS nó FAIL: éilíonn Goal.gte(0.8) meán de 0.8 ar a laghad, socraíonn Goal.lte(...) uasteorainn, agus sainíonn Goal.between(...) raon. Díríonn gach sprioc ar an meán de réir réamhshocraithe, nó ar staitistic eile le metric ("min", "max", "std"): éilíonn Goal.gte(0.8, metric="min") go sroicheann gach taifead 0.8. Is é seo a dhéanann cosantóir de mheastóireacht: ní théann leagan nua a laghdaíonn scór faoina sprioc go dtí an táirgeadh.

Príomhphointí

  • Cuireann meastóireachtaí as líne (mistralai-evaluations, Python 3.12+, eagraíochtaí Fiontar) Feachtais sheanda in ionad
  • Tacar sonraí, tasc, measúnaitheoirí, torthaí: slabhraíonn client.evaluation.run(...) é seo go léir agus foilsíonn sé in Studio
  • Is feidhmeanna iad measúnaitheoirí: rialacha cruinne nó breithiúna LLM, arna gcomhcheangal go saor
  • Taifeadann System an chumraíocht mheasúnaithe agus cumasaíonn sé comparáid leagan
  • Soláthraíonn spriocanna (Goal.gte, Goal.lte, Goal.between) breithiúnais PASS nó FAIL