Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Evalwazzjonijiet offline: kejjel qabel ma tiddispjega

Lezzjoni 14 / 16 Aġġornat 3 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Mill-każijiet singoli għall-iskala
  2. Il-mudell mentali
  3. L-ewwel evalwazzjoni
  4. Żewġ tipi ta’ evalwaturi
  5. Tqabbil ta’ verżjonijiet
  6. Stabbiliment ta’ għanijiet
  7. Punti Ewlenin

Lezzjon miktuba mill-ġdid fit-2 ta’ Novembru 2026 abbażi tad-dokumentazzjoni ta’ Mistral dwar l-Offline evaluations: il-”Campaigns” mill-verżjoni preċedenti u l-metodi campaigns.* tagħhom ma jeżistux aktar. L-evalwazzjoni fuq skala kbissa issa tuża l-SDK mistralai-evaluations, li jħaddem kompitu fuq sett ta’ dejta, jiskorjah bl-użu ta’ evalwaturi, u jippubblika r-riżultati fi Studio. Sorsi: Offline evaluations · Evaluators · Goals. Aġġornament fit-3 ta’ Novembru: mistralai-evaluations 0.9.1 jeħtieġ mistralai < 3 u jissostitwixxi l-SDK 3.x b’verżjoni 2.x meta jiġi installat flimkien miegħu; il-lezzjon tirrakkomanda l-użu ta’ ambjent iddedikat (dipendenzi fuq PyPI).

Mill-każijiet singoli għall-iskala

Imħallef validat fuq għoxrin konversazzjoni ma jgħidlek xejn dwar l-applikazzjoni tiegħek b’mod ġenerali. Biex tiddeċiedi jekk prompt, mudell jew setting ġdid huwiex aħjar minn dak attwali, trid tkejjlu kontra sett rappreżentattiv u konsistenti ta’ każijiet u tqabbel ir-riżultati. Dan hu r-rwol tal-evalwazzjonijiet offline.

Dawn huma rriżervati għal organizzazzjonijiet Enterprise u jeħtieġu Python 3.12 jew aktar tard:

pip install mistralai-evaluations

Installah f’ambjent separat. Il-verżjoni 0.9.1, l-aħħar waħda sal-3 ta’ Novembru 2026, teħtieġ mistralai 2.x (mistralai>=2.7.1,<3). F’ambjent li diġà fih l-SDK 3.x, pip ineħħih u jinstalla verżjoni 2.x, mingħajr twissija ħlief il-linji tal-output tiegħu stess: verifikat ma’ mistralai 3.7.0, sostitwit b’2.10.1. Ambjent virtwali ddedikat għall-evalwazzjonijiet jipprevjeni regrezzjonijiet fl-applikazzjoni tiegħek.

Il-mudell mentali

L-SDK isegwi fluss sempliċi:

Dataset  →  Task  →  Evaluators  →  Results
  • Dataset: lista ta’ rekords (dizzjunarji) jew dataset ta’ Studio
  • Task: funzjoni, preferibbilment asinkrona, li tirċievi TaskContext u tipproduċi output—dan hu l-kodiċi li qed tevalwa
  • Evaluators: funzjonijiet li jirċievu ScorerContext u jiskorjaw kull output
  • Results: statistika u punteġġi għal kull rekord, murija fit-terminal u ppubblikati fi Studio

L-ewwel evalwazzjoni

import asyncio
import os

from mistralai.evaluations import (
    Evaluation, Evaluator, Goal, Mistral, Project, ScorerContext, System, TaskContext,
)

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

dataset = [
    {"ticket": "I haven't been able to log in since this morning.", "categorie": "acces"},
    {"ticket": "My October invoice charges the same subscription twice.", "categorie": "facturation"},
    {"ticket": "The PDF export crashes as soon as the report exceeds 50 pages.", "categorie": "bug"},
]


async def tache(ctx: TaskContext) -> str:
    response = await client.chat.complete_async(
        model=str(ctx.system.params["model"]),
        messages=[
            {"role": "system", "content": str(ctx.system.params["system_prompt"])},
            {"role": "user", "content": ctx.input_record["ticket"]},
        ],
    )
    return str(response.choices[0].message.content)


def exactitude(ctx: ScorerContext) -> int:
    return 1 if ctx.input_record["categorie"] == str(ctx.output).strip().lower() else 0


async def main():
    run = await client.evaluation.run(
        project=Project(name="Tri des tickets"),
        evaluation=Evaluation(name="Exactitude du classement"),
        system=System(name="small-prompt-v1", params={
            "model": "mistral-small-latest",
            "system_prompt": "Classe le ticket : acces, facturation ou bug. Réponds par le seul mot.",
        }),
        dataset=dataset,
        task=tache,
        evaluators=[
            Evaluator(
                name="exactitude",
                description="1 si la catégorie prédite est la bonne, 0 sinon.",
                scorer=exactitude,
                goal=Goal.gte(0.8),
            ),
        ],
    )
    run.show(level="records")


asyncio.run(main())

Ir-riżultati jidhru fit-terminal u jiġu ppubblikati fi Studio taħt Observability > Evaluate > Evaluations. L-SDK jikkalkula l-medja, il-minimu, il-massimu u d-devjazzjoni standard għal kull evalwatur.

Ippreferi kompitu asinkronu għal proċessi li jieħdu żmien twil: kompitu sinkronu jaħdem fuq il-loop tal-avvenimenti li jibgħat ukoll sinjali ta’ heartbeat għat-tħaddim lejn Studio, u sejħa mblukkata għal diversi minuti tista’ tikkawża li t-tħaddim jiġi mmarkat bħala kkanċellat.

Żewġ tipi ta’ evalwaturi

Evalwatur jassoċja isem, deskrizzjoni fakultattiva, funzjoni ta’ skorar u, jekk ikun meħtieġ, għan. Il-funzjoni tista’ tkun:

  • Ibbażata fuq regoli: kalkolu dirett fuq l-output—eżatt, mgħaġġel u bla ħlas;
  • Imħallef LLM: funzjoni li ssejjaħ mudell biex tiskorja dak li hu diffiċli li tiktbu b’kodiċi—utilità, preċiżjoni fattwali, ton.
JUDGE_PROMPT = """Tu es un correcteur exigeant. Note de 0 à 5 l'utilité de la réponse
pour la request ci-dessous. Réponds par le seul chiffre.

Demande : {request}
Réponse : {response}
"""


def judge_utility(ctx: ScorerContext) -> int:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": JUDGE_PROMPT.format(
            request=ctx.input_record["ticket"], response=ctx.output)}],
        temperature=0,
    )
    raw = str(response.choices[0].message.content).strip()
    return int(raw[0]) if raw[:1].isdigit() else 0

Tista’ tgħaqqad liberament iż-żewġ tipi f’tħaddim wieħed: għaddihom flimkien fil-lista evaluators. Evalwatur jista’ jirritorna wkoll stringa jew boolean; l-SDK imbagħad jipproduċi distribuzzjoni tal-frekwenza minflok medji.

Tqabbil ta’ verżjonijiet

L-oġġett System jaqbad il-konfigurazzjoni tal-kompitu: mudell, temperatura, prompt tas-sistema, jew kwalunkwe setting ieħor, f’dizzjunarju b’forma ħielsa. Kull tħaddim jirrekordja s-System tiegħu, u Studio jippermettilek tqabbel it-tħaddimijiet ħdejn xulxin. Biex tiddeċiedi bejn żewġ prompts jew żewġ mudelli, erġa’ ħaddem l-istess evalwazzjoni b’żewġ oġġetti System differenti, mingħajr ma tmiss il-kodiċi tal-kompitu.

Stabbiliment ta’ għanijiet

Għan ibiddel punteġġ f’verdett PASS jew FAIL: Goal.gte(0.8) jeħtieġ medja ta’ mill-inqas 0.8, Goal.lte(...) jistabbilixxi limitu massimu, u Goal.between(...) jiddefinixxi firxa. Kull għan jimmira l-medja b’mod default, jew statistika oħra b’metric ("min", "max", "std"): Goal.gte(0.8, metric="min") jeħtieġ li kull rekord jilħaq 0.8. Dan hu dak li jagħmel evalwazzjoni bħala guardrail: verżjoni ġdida li tnaqqas punteġġ taħt l-għan tiegħu ma tmurx għall-produzzjoni.

Punti Ewlenin

  • L-evalwazzjonijiet offline (mistralai-evaluations, Python 3.12+, organizzazzjonijiet Enterprise) jissostitwixxu l-Campaigns qodma
  • Dataset, kompitu, evalwaturi, riżultati: client.evaluation.run(...) iqabbad kollox flimkien u jippubblika fi Studio
  • L-evalwaturi huma funzjonijiet: regoli eżatti jew imħallfin LLM, magħquda liberament
  • System jirrekordja l-konfigurazzjoni evalwata u jippermetti t-tqabbil tal-verżjonijiet
  • L-għanijiet (Goal.gte, Goal.lte, Goal.between) jipprovdu verdetti PASS jew FAIL