Evalwa l-Mudell Iffajnjat Tiegħek
F'din il-paġna
Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-iffajnar. Is-servizz awtonomu ta’ ffajnar ta’ OpenAI qed jiġi rtirat gradwalment: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma użawh ma jistgħux joħolqu aktar impjiegi; mit-2 ta’ Lulju, trid tkun użajt mudell iffajnjat fl-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda impjiegi ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt, RAG, u l-evalwazzjonijiet.
Għaliex l-Evalwazzjoni Hija Essenzjali
Iffajnar ta’ suċċess ma jitkejjilx bil-loss biss. Il-mistoqsija vera hija: il-mudell iffajnjat tiegħek huwa verament aħjar mill-mudell bażi għall-każ ta’ użu tiegħek? Kurva li tonqos b’mod nadif tipprova biss li l-mudell tgħallem jirriproduċi l-eżempji tiegħek; ma tgħid xejn dwar l-imġiba tiegħu fuq talbiet li ma rajtx qabel. Din il-lezzjoni turi kif tibni protokoll ta’ evalwazzjoni rigoruż, li jgħaqqad metrikawtomatizzati, ġudizzju mill-LLM, u reviżjoni umana.
Bini ta’ Sett tat-Test
Is-sett tat-test tiegħek irid ikun separat kemm mid-data tat-taħriġ kif ukoll minn dik tal-validazzjoni. Id-distinzjoni hija importanti: is-sett tal-validazzjoni jmonitorja t-taħriġ u għalhekk jinfluwenza d-deċiżjonijiet tal-iperparametri tiegħek, li bil-mod il-mod jikkontaminawh. Is-sett tat-test, min-naħa l-oħra, jinfetaħ biss meta l-mudell ikun iffriżat. Dan jirrappreżenta s-sitwazzjonijiet tad-dinja reali li l-mudell tiegħek se jiltaqa’ magħhom fil-produzzjoni, bl-istess proporzjonijiet ta’ każijiet sempliċi u dawk diffiċli. Qsim 80/10/10 fuq corpus imħawwad minn qabel huwa punt tat-tluq raġonevoli.
import json
import random
def prepare_datasets(file: str, ratios: tuple = (0.8, 0.1, 0.1)):
"""Splits data into train/validation/test."""
with open(file, "r") as f:
examples = [json.loads(l) for l in f]
random.shuffle(examples)
n = len(examples)
i1 = int(n * ratios[0])
i2 = int(n * (ratios[0] + ratios[1]))
datasets = {
"train": examples[:i1],
"validation": examples[i1:i2],
"test": examples[i2:]
}
for name, data in datasets.items():
with open(f"{name}.jsonl", "w") as f:
for ex in data:
f.write(json.dumps(ex, ensure_ascii=False) + "\n")
print(f"{name}: {len(data)} examples")
return datasets
prepare_datasets("all_data.jsonl")
Evalwazzjoni Awtomatizzata
Evalwazzjoni Bbażata fuq Metriki
Il-prinċipju huwa sempliċi: għal kull eżempju tat-test, neħħi l-messaġġ tal-assistent—dik hija t-tweġiba mistennija, li l-mudell m’għandux jara—ibgħat il-bqija, u żomm l-input, it-tweġiba ta’ referenza, u t-tweġiba ġġenerata ħdejn xulxin. Din l-istruttura bi tliet kolonni hija l-bażi għal kull ma jmiss; l-użu tagħha għall-kalkolu tal-metriki jew għal ġudizzju kwalitattiv huwa sempliċiment kwistjoni ta’ ipproċessar sussegwenti.
from openai import OpenAI
client = OpenAI()
def evaluate_model(model: str, test_examples: list[dict]) -> dict:
"""Evaluates a model on a test set."""
results = []
for ex in test_examples:
# Extract the question (without the expected answer)
input_messages = [
m for m in ex["messages"] if m["role"] != "assistant"
]
expected_answer = next(
m["content"] for m in ex["messages"] if m["role"] == "assistant"
)
# Get the model's response
response = client.responses.create(
model=model,
input=input_messages
)
model_answer = response.output_text
results.append({
"input": input_messages[-1]["content"],
"expected": expected_answer,
"obtained": model_answer
})
return results
Evalwazzjoni LLM-as-a-Judge
Teknika qawwija hija li tuża mudell bi prestazzjoni għolja biex tiġġudika l-kwalità tar-rispons. Il-paragun kelma b’kelma mar-referenza jsir inutili hekk kif ikunu aċċettabbli formulazzjonijiet multipli; imma ġudici, min-naħa l-oħra, japprezza s-sustanza. Il-kwalità tal-verdett tiegħu tiddependi kompletament fuq il-preċiżjoni tal-prompt: erba’ kriterji kklassifikati minn 1 sa 5, output JSON sfurzat, u kumment b’test liberu li se tuża aktar tard biex tifhem il-fallimenti. Ippjana għal każijiet fejn l-output ma jkunx jista’ jiġi pparzat minflok ma tħalli eċċezzjoni tinterrompi l-kampanja.
def evaluate_with_judge(results: list[dict]) -> list[dict]:
"""Uses gpt-5.6-sol as a judge to evaluate responses."""
evaluations = []
for r in results:
judge_prompt = f"""Evaluate the quality of the obtained response compared to the expected response.
Question: {r['input']}
Expected response: {r['expected']}
Obtained response: {r['obtained']}
Criteria (rate each from 1 to 5):
1. Accuracy: Is the information correct?
2. Completeness: Are all important points covered?
3. Style: Is the tone and format appropriate?
4. Conciseness: Is the response an appropriate length?
Respond in JSON: {{"accuracy": N, "completeness": N, "style": N, "conciseness": N, "comment": "..."}}"""
response = client.responses.create(
model="gpt-5.6-sol",
input=judge_prompt
)
try:
evaluation = json.loads(response.output_text)
evaluations.append(evaluation)
except json.JSONDecodeError:
evaluations.append({"error": "Response not parseable"})
return evaluations
Metriki Speċjalizzati
Iż-żewġ approċċ preċedenti jaħdmu tajjeb għar-risponsi miktuba. Hekk kif l-output tal-mudell tiegħek ikollu struttura fissa, isiru possibbli kejl aktar diretti u jiffrankawlek id-devjazzjoni permezz ta’ ġudici.
Għall-Klassifikazzjoni
Meta l-output mistenni jappartjeni għal sett magħluq—kategorija ta’ tikketta, sentiment, kodiċi tal-prodott—il-qabda eżatta (exact match) terġa’ ssir rilevanti. Normalizza l-kaxxa u l-ispazji qabel ma tqabbel; inkella, “Urgent” kontra “urgent” jingħaddu bħala żball u jbisswu r-rata tiegħek.
def classification_metrics(results: list[dict]) -> dict:
"""Calculates precision, recall, and F1 for a classification task."""
correct = sum(
1 for r in results
if r["expected"].strip().lower() == r["obtained"].strip().lower()
)
total = len(results)
precision = correct / total if total > 0 else 0
print(f"Precision: {precision:.2%} ({correct}/{total})")
return {"precision": precision, "correct": correct, "total": total}
Għas-Sejħa tal-Funzjonijiet (Function Calling)
Is-sejħa tal-funzjonijiet tiġi ġġudikata fuq żewġ assi li jridu jitkejlu separatament. Mudell li jagħżel il-funzjoni t-tajba iżda jiżbalja l-parametru jonqos b’mod differenti minn dak li jsejjaħ l-għodda żbaljata kompletament: l-ewwel problema tissolva b’eżempji ta’ estrazzjoni, it-tieni b’eżempji ta’ diskriminazzjoni. Punteġġ globali wieħed jgħatti din id-distinzjoni u jħallik taħdem blind.
def function_calling_metrics(results: list[dict]) -> dict:
"""Evaluates the quality of function calls."""
stats = {"correct_function": 0, "correct_params": 0, "total": 0}
for r in results:
stats["total"] += 1
if r.get("expected_function") == r.get("obtained_function"):
stats["correct_function"] += 1
if r.get("expected_params") == r.get("obtained_params"):
stats["correct_params"] += 1
print(f"Correct function: {stats['correct_function']}/{stats['total']}")
print(f"Correct parameters: {stats['correct_params']}/{stats['total']}")
return stats
Evalwazzjoni Umana
L-evalwazzjoni awtomatizzata ma taqbax kollox. Ton lesta ftit kondixxendenti, frażi li ma toqgħodx tajjeb mal-klijenti tiegħek, tweġiba teknikament korretta iżda mhux użabbli: dawn id-difetti jidhru biss taħt għajn umana. Il-protokoll huwa sempliċi. Agħżel bejn għoxrin u ħamsin rispons b’mod każwali, qatt mhux il-każijiet li diġà identifikajt bħala problematiċi, inkella se tkun qed tkejjel biss il-preġudizzju tal-għażla tiegħek stess. Imbagħad iddefinixxi kriterji ċari u li jistgħu jitkejlu u fformalizzahom f’rubrika ta’ punteġġ standardizzata biex żewġ reviżuri jiġġudikaw l-istess ħaġa.
Fl-aħħar nett, agħmel li diversi persuni jevalwaw u kkalkula l-qbil bejn ir-reviżuri (inter-rater agreement). Nuqqas qawwi ta’ qbil mhux neċessarjament ifisser mudell ħażin: l-aktar spiss, dan jiżvela li r-rubrika tiegħek għadha ambigwa u teħtieġ ċjarifikazzjoni qabel ma tista’ tikkonkludi xejn.
Kampjun ta’ Rubrika ta’ Evalwazzjoni
| Kriterju | 1 (Ħażin) | 3 (Aċċettabbli) | 5 (Eċċellenti) |
|---|---|---|---|
| Rilevanza | Barra mit-tema | Parzjalment rilevanti | Mira perfetta |
| Ton | Mhux xieraq | Aċċettabbli iżda sempliċi | Allinjat perfettament |
| Format | Mhux segwit | Segwit parzjalment | Segwit perfettament |
Rapport ta’ Evalwazzjoni
Rifless finali wieħed jissepara evalwazzjoni minn deċiżjoni: irreġistra ż-żewġ familji ta’ riżultati f’rapport wieħed, akkumpanjat minn rakkomandazzjoni espliċita. Il-limitu li tistabbilixxi—hawnhekk medja umana ta’ 4 biex tmur għall-produzzjoni, 3 biex tirrepeti fuq id-data—irid jintgħażel qabel ma tniedi l-kampanja. Jekk tiddeċiedi wara, dejjem taġġusta għar-riżultat li kont tittama li tikseb.
def evaluation_report(auto_results: dict, human_results: dict):
"""Generates a combined evaluation report."""
print("=" * 60)
print("RAPPORT TA' EVALWAZZJONI TAL-MUDELL IFFAJNJAT")
print("=" * 60)
print(f"\nMetriki awtomatizzati:")
for k, v in auto_results.items():
print(f" {k}: {v}")
print(f"\nEvalwazzjoni umana:")
for k, v in human_results.items():
print(f" {k}: {v}")
print(f"\nRakkomandazzjoni:")
average_score = sum(human_results.values()) / len(human_results)
if average_score >= 4:
print(" Il-mudell huwa lest għall-produzzjoni")
elif average_score >= 3:
print(" Meħtieġa titjib—irrepeti fuq id-data")
else:
print(" Riżultati insuffiċjenti—erġa' ħsieb l-approċċ tiegħek")
Punti Ewlenin
- Dejjem ispara sett tat-test indipendenti (la taħriġ u lanqas validazzjoni)
- Għaqqad evalwazzjoni awtomatizzata u waħda umana
- L-evalwazzjoni LLM-as-a-judge hija kompromess tajjeb bejn iż-żewġ approċċi
- Iddefinixxi kriterji li jistgħu jitkejlu qabel ma tibda
- Punteġġ baxx tal-loss ma jiggarantix kwalità għall-produzzjoni