Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Evalwa l-Mudell Iffajnjat Tiegħek

Lezzjoni 10 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Għaliex l-Evalwazzjoni Hija Essenzjali
  2. Bini ta’ Sett tat-Test
  3. Evalwazzjoni Awtomatizzata
  4. Metriki Speċjalizzati
  5. Evalwazzjoni Umana
  6. Rapport ta’ Evalwazzjoni
  7. Punti Ewlenin

Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-iffajnar. Is-servizz awtonomu ta’ ffajnar ta’ OpenAI qed jiġi rtirat gradwalment: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma użawh ma jistgħux joħolqu aktar impjiegi; mit-2 ta’ Lulju, trid tkun użajt mudell iffajnjat fl-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda impjiegi ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt, RAG, u l-evalwazzjonijiet.

Għaliex l-Evalwazzjoni Hija Essenzjali

Iffajnar ta’ suċċess ma jitkejjilx bil-loss biss. Il-mistoqsija vera hija: il-mudell iffajnjat tiegħek huwa verament aħjar mill-mudell bażi għall-każ ta’ użu tiegħek? Kurva li tonqos b’mod nadif tipprova biss li l-mudell tgħallem jirriproduċi l-eżempji tiegħek; ma tgħid xejn dwar l-imġiba tiegħu fuq talbiet li ma rajtx qabel. Din il-lezzjoni turi kif tibni protokoll ta’ evalwazzjoni rigoruż, li jgħaqqad metrikawtomatizzati, ġudizzju mill-LLM, u reviżjoni umana.

Bini ta’ Sett tat-Test

Is-sett tat-test tiegħek irid ikun separat kemm mid-data tat-taħriġ kif ukoll minn dik tal-validazzjoni. Id-distinzjoni hija importanti: is-sett tal-validazzjoni jmonitorja t-taħriġ u għalhekk jinfluwenza d-deċiżjonijiet tal-iperparametri tiegħek, li bil-mod il-mod jikkontaminawh. Is-sett tat-test, min-naħa l-oħra, jinfetaħ biss meta l-mudell ikun iffriżat. Dan jirrappreżenta s-sitwazzjonijiet tad-dinja reali li l-mudell tiegħek se jiltaqa’ magħhom fil-produzzjoni, bl-istess proporzjonijiet ta’ każijiet sempliċi u dawk diffiċli. Qsim 80/10/10 fuq corpus imħawwad minn qabel huwa punt tat-tluq raġonevoli.

import json
import random

def prepare_datasets(file: str, ratios: tuple = (0.8, 0.1, 0.1)):
    """Splits data into train/validation/test."""
    with open(file, "r") as f:
        examples = [json.loads(l) for l in f]

    random.shuffle(examples)
    n = len(examples)
    i1 = int(n * ratios[0])
    i2 = int(n * (ratios[0] + ratios[1]))

    datasets = {
        "train": examples[:i1],
        "validation": examples[i1:i2],
        "test": examples[i2:]
    }

    for name, data in datasets.items():
        with open(f"{name}.jsonl", "w") as f:
            for ex in data:
                f.write(json.dumps(ex, ensure_ascii=False) + "\n")
        print(f"{name}: {len(data)} examples")

    return datasets

prepare_datasets("all_data.jsonl")

Evalwazzjoni Awtomatizzata

Evalwazzjoni Bbażata fuq Metriki

Il-prinċipju huwa sempliċi: għal kull eżempju tat-test, neħħi l-messaġġ tal-assistent—dik hija t-tweġiba mistennija, li l-mudell m’għandux jara—ibgħat il-bqija, u żomm l-input, it-tweġiba ta’ referenza, u t-tweġiba ġġenerata ħdejn xulxin. Din l-istruttura bi tliet kolonni hija l-bażi għal kull ma jmiss; l-użu tagħha għall-kalkolu tal-metriki jew għal ġudizzju kwalitattiv huwa sempliċiment kwistjoni ta’ ipproċessar sussegwenti.

from openai import OpenAI

client = OpenAI()

def evaluate_model(model: str, test_examples: list[dict]) -> dict:
    """Evaluates a model on a test set."""
    results = []

    for ex in test_examples:
        # Extract the question (without the expected answer)
        input_messages = [
            m for m in ex["messages"] if m["role"] != "assistant"
        ]
        expected_answer = next(
            m["content"] for m in ex["messages"] if m["role"] == "assistant"
        )

        # Get the model's response
        response = client.responses.create(
            model=model,
            input=input_messages
        )
        model_answer = response.output_text

        results.append({
            "input": input_messages[-1]["content"],
            "expected": expected_answer,
            "obtained": model_answer
        })

    return results

Evalwazzjoni LLM-as-a-Judge

Teknika qawwija hija li tuża mudell bi prestazzjoni għolja biex tiġġudika l-kwalità tar-rispons. Il-paragun kelma b’kelma mar-referenza jsir inutili hekk kif ikunu aċċettabbli formulazzjonijiet multipli; imma ġudici, min-naħa l-oħra, japprezza s-sustanza. Il-kwalità tal-verdett tiegħu tiddependi kompletament fuq il-preċiżjoni tal-prompt: erba’ kriterji kklassifikati minn 1 sa 5, output JSON sfurzat, u kumment b’test liberu li se tuża aktar tard biex tifhem il-fallimenti. Ippjana għal każijiet fejn l-output ma jkunx jista’ jiġi pparzat minflok ma tħalli eċċezzjoni tinterrompi l-kampanja.

def evaluate_with_judge(results: list[dict]) -> list[dict]:
    """Uses gpt-5.6-sol as a judge to evaluate responses."""
    evaluations = []

    for r in results:
        judge_prompt = f"""Evaluate the quality of the obtained response compared to the expected response.

Question: {r['input']}

Expected response: {r['expected']}

Obtained response: {r['obtained']}

Criteria (rate each from 1 to 5):
1. Accuracy: Is the information correct?
2. Completeness: Are all important points covered?
3. Style: Is the tone and format appropriate?
4. Conciseness: Is the response an appropriate length?

Respond in JSON: {{"accuracy": N, "completeness": N, "style": N, "conciseness": N, "comment": "..."}}"""

        response = client.responses.create(
            model="gpt-5.6-sol",
            input=judge_prompt
        )

        try:
            evaluation = json.loads(response.output_text)
            evaluations.append(evaluation)
        except json.JSONDecodeError:
            evaluations.append({"error": "Response not parseable"})

    return evaluations

Metriki Speċjalizzati

Iż-żewġ approċċ preċedenti jaħdmu tajjeb għar-risponsi miktuba. Hekk kif l-output tal-mudell tiegħek ikollu struttura fissa, isiru possibbli kejl aktar diretti u jiffrankawlek id-devjazzjoni permezz ta’ ġudici.

Għall-Klassifikazzjoni

Meta l-output mistenni jappartjeni għal sett magħluq—kategorija ta’ tikketta, sentiment, kodiċi tal-prodott—il-qabda eżatta (exact match) terġa’ ssir rilevanti. Normalizza l-kaxxa u l-ispazji qabel ma tqabbel; inkella, “Urgent” kontra “urgent” jingħaddu bħala żball u jbisswu r-rata tiegħek.

def classification_metrics(results: list[dict]) -> dict:
    """Calculates precision, recall, and F1 for a classification task."""
    correct = sum(
        1 for r in results
        if r["expected"].strip().lower() == r["obtained"].strip().lower()
    )
    total = len(results)
    precision = correct / total if total > 0 else 0

    print(f"Precision: {precision:.2%} ({correct}/{total})")
    return {"precision": precision, "correct": correct, "total": total}

Għas-Sejħa tal-Funzjonijiet (Function Calling)

Is-sejħa tal-funzjonijiet tiġi ġġudikata fuq żewġ assi li jridu jitkejlu separatament. Mudell li jagħżel il-funzjoni t-tajba iżda jiżbalja l-parametru jonqos b’mod differenti minn dak li jsejjaħ l-għodda żbaljata kompletament: l-ewwel problema tissolva b’eżempji ta’ estrazzjoni, it-tieni b’eżempji ta’ diskriminazzjoni. Punteġġ globali wieħed jgħatti din id-distinzjoni u jħallik taħdem blind.

def function_calling_metrics(results: list[dict]) -> dict:
    """Evaluates the quality of function calls."""
    stats = {"correct_function": 0, "correct_params": 0, "total": 0}

    for r in results:
        stats["total"] += 1
        if r.get("expected_function") == r.get("obtained_function"):
            stats["correct_function"] += 1
        if r.get("expected_params") == r.get("obtained_params"):
            stats["correct_params"] += 1

    print(f"Correct function: {stats['correct_function']}/{stats['total']}")
    print(f"Correct parameters: {stats['correct_params']}/{stats['total']}")
    return stats

Evalwazzjoni Umana

L-evalwazzjoni awtomatizzata ma taqbax kollox. Ton lesta ftit kondixxendenti, frażi li ma toqgħodx tajjeb mal-klijenti tiegħek, tweġiba teknikament korretta iżda mhux użabbli: dawn id-difetti jidhru biss taħt għajn umana. Il-protokoll huwa sempliċi. Agħżel bejn għoxrin u ħamsin rispons b’mod każwali, qatt mhux il-każijiet li diġà identifikajt bħala problematiċi, inkella se tkun qed tkejjel biss il-preġudizzju tal-għażla tiegħek stess. Imbagħad iddefinixxi kriterji ċari u li jistgħu jitkejlu u fformalizzahom f’rubrika ta’ punteġġ standardizzata biex żewġ reviżuri jiġġudikaw l-istess ħaġa.

Fl-aħħar nett, agħmel li diversi persuni jevalwaw u kkalkula l-qbil bejn ir-reviżuri (inter-rater agreement). Nuqqas qawwi ta’ qbil mhux neċessarjament ifisser mudell ħażin: l-aktar spiss, dan jiżvela li r-rubrika tiegħek għadha ambigwa u teħtieġ ċjarifikazzjoni qabel ma tista’ tikkonkludi xejn.

Kampjun ta’ Rubrika ta’ Evalwazzjoni

Kriterju 1 (Ħażin) 3 (Aċċettabbli) 5 (Eċċellenti)
Rilevanza Barra mit-tema Parzjalment rilevanti Mira perfetta
Ton Mhux xieraq Aċċettabbli iżda sempliċi Allinjat perfettament
Format Mhux segwit Segwit parzjalment Segwit perfettament

Rapport ta’ Evalwazzjoni

Rifless finali wieħed jissepara evalwazzjoni minn deċiżjoni: irreġistra ż-żewġ familji ta’ riżultati f’rapport wieħed, akkumpanjat minn rakkomandazzjoni espliċita. Il-limitu li tistabbilixxi—hawnhekk medja umana ta’ 4 biex tmur għall-produzzjoni, 3 biex tirrepeti fuq id-data—irid jintgħażel qabel ma tniedi l-kampanja. Jekk tiddeċiedi wara, dejjem taġġusta għar-riżultat li kont tittama li tikseb.

def evaluation_report(auto_results: dict, human_results: dict):
    """Generates a combined evaluation report."""
    print("=" * 60)
    print("RAPPORT TA' EVALWAZZJONI TAL-MUDELL IFFAJNJAT")
    print("=" * 60)

    print(f"\nMetriki awtomatizzati:")
    for k, v in auto_results.items():
        print(f"  {k}: {v}")

    print(f"\nEvalwazzjoni umana:")
    for k, v in human_results.items():
        print(f"  {k}: {v}")

    print(f"\nRakkomandazzjoni:")
    average_score = sum(human_results.values()) / len(human_results)
    if average_score >= 4:
        print("  Il-mudell huwa lest għall-produzzjoni")
    elif average_score >= 3:
        print("  Meħtieġa titjib—irrepeti fuq id-data")
    else:
        print("  Riżultati insuffiċjenti—erġa' ħsieb l-approċċ tiegħek")

Punti Ewlenin

  • Dejjem ispara sett tat-test indipendenti (la taħriġ u lanqas validazzjoni)
  • Għaqqad evalwazzjoni awtomatizzata u waħda umana
  • L-evalwazzjoni LLM-as-a-judge hija kompromess tajjeb bejn iż-żewġ approċċi
  • Iddefinixxi kriterji li jistgħu jitkejlu qabel ma tibda
  • Punteġġ baxx tal-loss ma jiggarantix kwalità għall-produzzjoni