Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Imħallfin: Evalwazzjoni Awtomatizzata tal-LLM

Lezzjoni 13 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Awtomatizzazzjoni tal-Evalwazzjoni tal-Kwalità
  2. Żewġ Tipi ta’ Mħallfin
  3. Kif Tikteb Struzzjonijiet Effettivi
  4. Ħolqien ta’ Mħallef ta’ Klassifikazzjoni permezz tal-SDK
  5. Ħolqien ta’ Mħallef ta’ Regressjoni permezz tal-SDK
  6. Ivalida Qabel ma Tiskala
  7. Punti Ewlenin

Lezzjoni aġġornata fit-2 ta’ Novembru, 2026 ibbażata fuq l-SDK mistralai 3.7.0 u l-paġna tal-Evaluators ta’ Mistral: judges.create issa jeħtieġ description u tools (eżempji aktar antiki ma jaħdmux), l-outputs tar-regressjoni jeħtieġu min_description u max_description, u tista’ ttestja mħallef direttament fuq konversazzjoni bl-użu ta’ judge_conversation. Il-varjabbli tat-template u l-”Campaigns” minn verżjonijiet preċedenti ma jidhrux aktar fid-dokumentazzjoni. Sorsi: Evaluators · client-python.

Awtomatizzazzjoni tal-Evalwazzjoni tal-Kwalità

Ir-reviżjoni manwali ta’ eluf ta’ konversazzjonijiet hija impossibbli fuq skala ta’ produzzjoni. L-Imħallfin (Judges) isolvu din il-problema: huma evalwaturi bbażati fuq LLM li tikkonfigura darba biss—tiddefinixxi struzzjonijiet, mudell, u format tal-output—u mbagħad tapplika fuq konversazzjonijiet jew rekords ta’ datasets. Kull ġudizzju tipproduċi analiżi u verdett: tikketta jew punteġġ.

Żewġ Tipi ta’ Mħallfin

Klassifikazzjoni

Mħallef ta’ klassifikazzjoni jassenja tikketti diskreti għal kull tweġiba. Eżempji jinkludu:

  • Binarju: helpful / not_helpful
  • Multi-klassi: excellent / acceptable / poor
  • Kategorizzazzjoni: code_question / general_knowledge / troubleshooting
  • Sigurtà: safe / needs_review / unsafe

Regressjoni

Mħallef ta’ regressjoni jassenja punteġġ numeriku fi ħdan firxa, fejn tiddefinixxi l-limiti:

  • Klassifika tal-utilità minn 1 sa 5
  • Punteġġ tar-rilevanza minn 0 sa 100
  • Livell ta’ kunfidenza minn 0.0 sa 1.0

Kif Tikteb Struzzjonijiet Effettivi

L-istruzzjonijiet tal-mħallef jiddeterminaw il-kwalità kollha tal-evalwazzjoni, u l-vaghezza hija l-kawża primarja tal-falliment. “Evalwa l-kwalità tat-tweġiba” ma tfisser xejn għal mudell—kull eżekuzzjoni se tinterpreta “kwalità” b’mod differenti. Verżjoni li taħdem isemmi kriterji osservabbli: “Evalwa jekk it-tweġiba tweġibx direttament il-mistoqsija magħmula, bl-użu ta’ informazzjoni fattwalment korretta.” L-istess prinċipju japplika għall-kuntest: il-mħallef tiegħek ma jafx li qed jevalwa chatbot tas-support fejn “tajjeb” ifisser “issolvi l-problema tal-klijent mingħajr ma tibgħatu għad-dokumentazzjoni.” Jekk ma tgħidhiex dan b’mod espliċitu, se japplika definizzjoni ġenerika ta’ kwalità li mhix tiegħek.

Il-każijiet limitu (edge cases) jeħtieġu attenzjoni speċjali, peress li hawnhekk fejn l-evalwazzjonijiet jiddiverġu. Li tispeċifika li “punteġġ ta’ 3 ifisser li t-tweġiba hija parzjalment korretta iżda nieqsa minn element ewlieni” jistabbilizza n-nofs tal-iskala tiegħek—mingħajr din l-ankra, l-istess konversazzjoni tista’ tirċievi 2, 3, jew 4 skont l-eżekuzzjoni. It-test finali huwa sempliċi: jekk żewġ evalwaturi umani li jaqraw l-istruzzjonijiet tiegħek jistgħu ma jaqblux fuq każ partikolari, il-kriterju tiegħek huwa wisq vag, u l-mħallef se jwirt dik l-ambigwità fuq skala kbira.

Ħolqien ta’ Mħallef ta’ Klassifikazzjoni permezz tal-SDK

from mistralai.client import Mistral

client = Mistral(api_key="your-api-key")

# Mħallef ta' klassifikazzjoni b'tliet livelli
classifier = client.beta.observability.judges.create(
    name="Support Response Quality",
    description="Classifies each support chatbot response into three quality levels.",
    model_name="mistral-medium-latest",
    instructions="""
Evaluate the assistant's last response in the provided conversation.

Context: This is a technical support chatbot.

Criteria:
- Is the response factual and correct?
- Does it directly answer the question asked?
- Is the tone professional and empathetic?

Classify the response according to the proposed categories.
""",
    output={
        "type": "CLASSIFICATION",
        "options": [
            {"value": "excellent", "description": "Correct, complete, and professional response"},
            {"value": "acceptable", "description": "Correct but incomplete response, or tone needs improvement"},
            {"value": "poor", "description": "Incorrect, off-topic, or unprofessional response"},
        ],
    },
    tools=[],  # No tools for this judge
)

print(f"Judge created: {classifier.id}")

Ħolqien ta’ Mħallef ta’ Regressjoni permezz tal-SDK

# Mħallef ta' regressjoni: Punteġġ tal-utilità minn 1 sa 5
scorer = client.beta.observability.judges.create(
    name="Helpfulness Score",
    description="Rates the helpfulness of the assistant's last response on a scale of 1 to 5.",
    model_name="mistral-small-latest",
    instructions="""
Evaluate the helpfulness of the assistant's last response on a scale of 1 to 5.

1 = Useless (off-topic, incorrect, or does not answer the question)
2 = Slightly helpful (partially correct but misses the main point)
3 = Moderately helpful (correct but incomplete or too vague)
4 = Helpful (correct and sufficiently detailed)
5 = Very helpful (correct, detailed, with clear examples or steps)
""",
    output={
        "type": "REGRESSION",
        "min": 1,
        "max": 5,
        "min_description": "Useless response: off-topic, incorrect, or no answer provided",
        "max_description": "Very helpful response: correct, detailed, with clear steps",
    },
    tools=[],
)

print(f"Judge created: {scorer.id}")

Ivalida Qabel ma Tiskala

Mħallef mhux ivvalidat jipproduċi annotazzjonijiet foloz fuq skala kbira. Qabel ma tiddependi fuq wieħed, ittestjah fuq konversazzjonijiet fejn tkun taf it-tweġiba korretta: judge_conversation japplikah fuq lista ta’ messaġġi u jirritorna l-analiżi u l-verdett tiegħu.

result = client.beta.observability.judges.judge_conversation(
    judge_id=classifier.id,
    messages=[
        {"role": "user", "content": "My printer shows error E04, what should I do?"},
        {"role": "assistant", "content": "Check the documentation."},
    ],
)

print(result.analysis)  # Ir-raġunament tal-mħallef
print(result.answer)    # It-tikketta jew il-punteġġ

Imbagħad ipproċedi b’metodoloġija:

  1. Ittestja fuq 10 sa 20 każ fejn iddeterminajt minn qabel il-verdett korrett
  2. Iċċekkja l-qbil: Il-mħallef jipproduċi l-istess riżultati bħalek?
  3. Ittestja l-istabbiltà: Meta terġa’ tgħaddi mill-istess każijiet, ir-riżultati huma identiċi?
  4. Identifika mudelli ta’ falliment: Fuq liema tipi ta’ konversazzjonijiet il-mħallef jagħmel żbalji?

Jekk il-qbil huwa baxx wisq, irraffina l-istruzzjonijiet qabel kwalunkwe użu fuq skala kbira. Ladarba jkun ivvalidat, mħallef japplika għal rekords ta’ dataset (client.beta.observability.datasets.records.judge), u l-istess loġika tal-mħallef LLM tidher fl-evalwaturi għal evalwazzjonijiet offline (Lezzjoni 14).

Punti Ewlenin

  • Mħallef LLM jikklassifika (tikketti) jew jipprezzja (jivvaluta) konversazzjonijiet, appoġġjat minn analiżi
  • judges.create jeħtieġ name, description, model_name, instructions, output, u tools
  • Output ta’ regressjoni jiddefinixxi l-limiti tiegħu (min_description, max_description)
  • L-istruzzjonijiet iridu jkunu speċifiċi, kuntestwalizzati, u ankurati b’eżempji ta’ punteġġi
  • Ivalida mħallef b’judge_conversation fuq każijiet magħrufa qabel ma tiddependi fuqu