Imħallfin: Evalwazzjoni Awtomatizzata tal-LLM
F'din il-paġna
Lezzjoni aġġornata fit-2 ta’ Novembru, 2026 ibbażata fuq l-SDK
mistralai3.7.0 u l-paġna tal-Evaluators ta’ Mistral:judges.createissa jeħtieġdescriptionutools(eżempji aktar antiki ma jaħdmux), l-outputs tar-regressjoni jeħtieġumin_descriptionumax_description, u tista’ ttestja mħallef direttament fuq konversazzjoni bl-użu ta’judge_conversation. Il-varjabbli tat-template u l-”Campaigns” minn verżjonijiet preċedenti ma jidhrux aktar fid-dokumentazzjoni. Sorsi: Evaluators · client-python.
Awtomatizzazzjoni tal-Evalwazzjoni tal-Kwalità
Ir-reviżjoni manwali ta’ eluf ta’ konversazzjonijiet hija impossibbli fuq skala ta’ produzzjoni. L-Imħallfin (Judges) isolvu din il-problema: huma evalwaturi bbażati fuq LLM li tikkonfigura darba biss—tiddefinixxi struzzjonijiet, mudell, u format tal-output—u mbagħad tapplika fuq konversazzjonijiet jew rekords ta’ datasets. Kull ġudizzju tipproduċi analiżi u verdett: tikketta jew punteġġ.
Żewġ Tipi ta’ Mħallfin
Klassifikazzjoni
Mħallef ta’ klassifikazzjoni jassenja tikketti diskreti għal kull tweġiba. Eżempji jinkludu:
- Binarju:
helpful/not_helpful - Multi-klassi:
excellent/acceptable/poor - Kategorizzazzjoni:
code_question/general_knowledge/troubleshooting - Sigurtà:
safe/needs_review/unsafe
Regressjoni
Mħallef ta’ regressjoni jassenja punteġġ numeriku fi ħdan firxa, fejn tiddefinixxi l-limiti:
- Klassifika tal-utilità minn 1 sa 5
- Punteġġ tar-rilevanza minn 0 sa 100
- Livell ta’ kunfidenza minn 0.0 sa 1.0
Kif Tikteb Struzzjonijiet Effettivi
L-istruzzjonijiet tal-mħallef jiddeterminaw il-kwalità kollha tal-evalwazzjoni, u l-vaghezza hija l-kawża primarja tal-falliment. “Evalwa l-kwalità tat-tweġiba” ma tfisser xejn għal mudell—kull eżekuzzjoni se tinterpreta “kwalità” b’mod differenti. Verżjoni li taħdem isemmi kriterji osservabbli: “Evalwa jekk it-tweġiba tweġibx direttament il-mistoqsija magħmula, bl-użu ta’ informazzjoni fattwalment korretta.” L-istess prinċipju japplika għall-kuntest: il-mħallef tiegħek ma jafx li qed jevalwa chatbot tas-support fejn “tajjeb” ifisser “issolvi l-problema tal-klijent mingħajr ma tibgħatu għad-dokumentazzjoni.” Jekk ma tgħidhiex dan b’mod espliċitu, se japplika definizzjoni ġenerika ta’ kwalità li mhix tiegħek.
Il-każijiet limitu (edge cases) jeħtieġu attenzjoni speċjali, peress li hawnhekk fejn l-evalwazzjonijiet jiddiverġu. Li tispeċifika li “punteġġ ta’ 3 ifisser li t-tweġiba hija parzjalment korretta iżda nieqsa minn element ewlieni” jistabbilizza n-nofs tal-iskala tiegħek—mingħajr din l-ankra, l-istess konversazzjoni tista’ tirċievi 2, 3, jew 4 skont l-eżekuzzjoni. It-test finali huwa sempliċi: jekk żewġ evalwaturi umani li jaqraw l-istruzzjonijiet tiegħek jistgħu ma jaqblux fuq każ partikolari, il-kriterju tiegħek huwa wisq vag, u l-mħallef se jwirt dik l-ambigwità fuq skala kbira.
Ħolqien ta’ Mħallef ta’ Klassifikazzjoni permezz tal-SDK
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
# Mħallef ta' klassifikazzjoni b'tliet livelli
classifier = client.beta.observability.judges.create(
name="Support Response Quality",
description="Classifies each support chatbot response into three quality levels.",
model_name="mistral-medium-latest",
instructions="""
Evaluate the assistant's last response in the provided conversation.
Context: This is a technical support chatbot.
Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?
Classify the response according to the proposed categories.
""",
output={
"type": "CLASSIFICATION",
"options": [
{"value": "excellent", "description": "Correct, complete, and professional response"},
{"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
{"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
],
},
tools=[], # No tools for this judge
)
print(f"Judge created: {classifier.id}")
Ħolqien ta’ Mħallef ta’ Regressjoni permezz tal-SDK
# Mħallef ta' regressjoni: Punteġġ tal-utilità minn 1 sa 5
scorer = client.beta.observability.judges.create(
name="Helpfulness Score",
description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
model_name="mistral-small-latest",
instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.
1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
output={
"type": "REGRESSION",
"min": 1,
"max": 5,
"min_description": "Useless response: off-topic, incorrect, or no answer provided",
"max_description": "Very helpful response: correct, detailed, with clear steps",
},
tools=[],
)
print(f"Judge created: {scorer.id}")
Ivalida Qabel ma Tiskala
Mħallef mhux ivvalidat jipproduċi annotazzjonijiet foloz fuq skala kbira. Qabel ma tiddependi fuq wieħed, ittestjah fuq konversazzjonijiet fejn tkun taf it-tweġiba korretta: judge_conversation japplikah fuq lista ta’ messaġġi u jirritorna l-analiżi u l-verdett tiegħu.
result = client.beta.observability.judges.judge_conversation(
judge_id=classifier.id,
messages=[
{"role": "user", "content": "My printer shows error E04, what should I do?"},
{"role": "assistant", "content": "Check the documentation."},
],
)
print(result.analysis) # Ir-raġunament tal-mħallef
print(result.answer) # It-tikketta jew il-punteġġ
Imbagħad ipproċedi b’metodoloġija:
- Ittestja fuq 10 sa 20 każ fejn iddeterminajt minn qabel il-verdett korrett
- Iċċekkja l-qbil: Il-mħallef jipproduċi l-istess riżultati bħalek?
- Ittestja l-istabbiltà: Meta terġa’ tgħaddi mill-istess każijiet, ir-riżultati huma identiċi?
- Identifika mudelli ta’ falliment: Fuq liema tipi ta’ konversazzjonijiet il-mħallef jagħmel żbalji?
Jekk il-qbil huwa baxx wisq, irraffina l-istruzzjonijiet qabel kwalunkwe użu fuq skala kbira. Ladarba jkun ivvalidat, mħallef japplika għal rekords ta’ dataset (client.beta.observability.datasets.records.judge), u l-istess loġika tal-mħallef LLM tidher fl-evalwaturi għal evalwazzjonijiet offline (Lezzjoni 14).
Punti Ewlenin
- Mħallef LLM jikklassifika (tikketti) jew jipprezzja (jivvaluta) konversazzjonijiet, appoġġjat minn analiżi
judges.createjeħtieġname,description,model_name,instructions,output, utools- Output ta’ regressjoni jiddefinixxi l-limiti tiegħu (
min_description,max_description) - L-istruzzjonijiet iridu jkunu speċifiċi, kuntestwalizzati, u ankurati b’eżempji ta’ punteġġi
- Ivalida mħallef b’
judge_conversationfuq każijiet magħrufa qabel ma tiddependi fuqu