Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Kwalità tad-Data: Tindif u Validazzjoni

Lezzjoni 4 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Għaliex it-tindif huwa kritiku
  2. Validazzjoni teknika tal-fajl
  3. Tindif tal-kontenut
  4. Verifiki ta’ konsistenza
  5. L-użu tal-API ta’ validazzjoni ta’ OpenAI
  6. Lista ta’ verifika qabel il-fine-tuning
  7. Punti Ewlenin

Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-Fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma ħaddmu impjieg ta’ fine-tuning ma jistgħux joħolqu wieħed ġdid; mit-2 ta’ Lulju, trid tkun użajt mudell imħarreġ b’mod fin (fine-tuned) fl-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda impjiegi ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt (prompt engineering), RAG, u l-evalwazzjonijiet.

Għaliex it-tindif huwa kritiku

Fajl JSONL validu teknikament ma jiggarantixxix fine-tuning tajjeb. Data storbjuża, inkonsistenti, jew ifformattjata ħażin se tnaqqas il-prestazzjoni tal-mudell minflok ma ttejba—u l-agħar parti hija li dan ma jipprovoka l-ebda żball. L-impjieg jirnexxi, il-mudell ikun lest, u inti tiskopri l-problema biss fil-produzzjoni. Din il-lezzjoni tkopri t-tekniki ta’ tindif u validazzjoni li għandek tħaddem qabel ma ttella’ l-fajl.

Validazzjoni teknika tal-fajl

Ibda bil-mekkanika: ivverifika li l-fajl tiegħek huwa korrett sintattikament u li kull linja tirrispetta l-kuntratt mistenni. Il-funzjoni hawn taħt tgħaddi mill-fajl linja b’linja, takkumula l-iżbalji minflok ma tieqaf fl-ewwel waħda (trid il-lista sħiħa, mhux sejra u ġejja għal kull kwistjoni) u tirritorna xi statistiċi utli matul it-triq, bħall-preżenza ta’ messaġġi tas-sistema u konversazzjonijiet b’diversi dawriet (multi-turn).

import json

def validate_jsonl(path: str) -> dict:
    """Validates a JSONL file and returns statistics."""
    errors = []
    stats = {"total": 0, "with_system": 0, "multi_turn": 0}
    valid_roles = {"system", "user", "assistant"}

    with open(path, "r", encoding="utf-8") as f:
        for i, line in enumerate(f, 1):
            stats["total"] += 1
            try:
                obj = json.loads(line.strip())
            except json.JSONDecodeError as e:
                errors.append(f"Line {i}: Invalid JSON — {e}")
                continue

            if "messages" not in obj:
                errors.append(f"Line {i}: Missing 'messages' key")
                continue

            messages = obj["messages"]
            if not isinstance(messages, list) or len(messages) < 2:
                errors.append(f"Line {i}: Minimum 2 messages required")
                continue

            for j, msg in enumerate(messages):
                role = msg.get("role")
                if role not in valid_roles:
                    errors.append(f"Line {i}, msg {j}: Invalid role")
                if not msg.get("content", "").strip():
                    errors.append(f"Line {i}, msg {j}: Empty content")

            if not any(m["role"] == "assistant" for m in messages):
                errors.append(f"Line {i}: No assistant message")

            if messages[0]["role"] == "system":
                stats["with_system"] += 1
            user_turns = sum(1 for m in messages if m["role"] == "user")
            if user_turns > 1:
                stats["multi_turn"] += 1

    return {"errors": errors, "stats": stats}

result = validate_jsonl("training_data.jsonl")
if result["errors"]:
    print(f"Errors: {len(result['errors'])}")
    for err in result["errors"][:10]:
        print(f"  - {err}")
else:
    print(f"File valid — {result['stats']['total']} examples")

Tindif tal-kontenut

Entrati eżatti jew kważi identiċi jħawdu t-taħriġ billi jirrappreżentaw żejjed ċerti mudelli. Dan iseħħ naturalment meta taggrega esportazzjonijiet multipli: l-istess mistoqsija frekwenti tidher tletin darba fir-rekords tiegħek, u l-mudell jikkonkludi li tistħoqqilu tletin darba aktar attenzjoni minn oħrajn. Hash tal-kontenut tal-messaġġi magħqudin huwa biżżejjed biex teliminahom.

import hashlib

def deduplicate(examples: list[dict]) -> list[dict]:
    """Removes duplicates based on message content."""
    seen = set()
    unique = []

    for ex in examples:
        content = "|".join(
            f"{m['role']}:{m['content']}" for m in ex["messages"]
        )
        h = hashlib.md5(content.encode()).hexdigest()

        if h not in seen:
            seen.add(h)
            unique.append(ex)

    print(f"Duplicates removed: {len(examples) - len(unique)}")
    return unique

Imbagħad tiġi n-normalizzazzjoni tat-test, li tindirizza erba’ kwistjonijiet distinti. Spazji multipli u newlines superfluwi, wirt minn copy-paste, iridu jitneħħew. L-enkodjar irid jiġi nnormalizzat għal UTF-8 b’karattri ta’ kontroll imneħħija—inviżibbli iżda spiss preżenti fl-esportazzjonijiet tad-database. Il-punteġġjatura tisħaq fuq verifika: tweġiba maqtugħa f’nofsha tgħallem lill-mudell biex jinterrompi lilu nnifsu. Fl-aħħar nett, żgura l-konsistenza tal-lingwa—jekk trid indirizz formali, ivverifika li l-ebda eżempju ma juża indirizz informali, għax il-mudell se jirriproduċi b’mod fidil it-taħlita.

import re
import unicodedata

def normalize_text(text: str) -> str:
    """Normalizes text for training."""
    text = unicodedata.normalize("NFC", text)
    text = re.sub(r"[\x00-\x09\x0b-\x0c\x0e-\x1f\x7f]", "", text)
    text = re.sub(r"[ \t]+", " ", text)
    text = re.sub(r"\n{3,}", "\n\n", text)
    return text.strip()

Verifiki ta’ konsistenza

Jekk tuża messaġġ tas-sistema, dan irid ikun rigorużament identiku fl-eżempji kollha tiegħek. Żewġ varjanti li jvaraw b’kelma waħda biss huma biżżejjed biex iddilwixxu s-sinjal: il-mudell jieqaf jitgħallem istruzzjoni speċifika u jibda jitgħallem familja mċajpra ta’ istruzzjonijiet. Il-verifika hija triviali, u r-riżultat spiss ikun sorprendenti fuq corpus mibni minn ħafna nies.

def check_system_messages(examples: list[dict]):
    """Checks consistency of system messages."""
    system_msgs = set()
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "system":
                system_msgs.add(msg["content"].strip())

    if len(system_msgs) > 1:
        print(f"Warning: {len(system_msgs)} different system messages")
        for sm in system_msgs:
            print(f"  - {sm[:80]}...")
    elif len(system_msgs) == 1:
        print("System message consistent")
    else:
        print("No system message used")

Id-distribuzzjoni tat-tulijiet tar-risponsi tgħid l-istess storja minn angolu ieħor. Risponsi eteroġenji ħafna jissignalaw li ħafna nies kitbu l-corpus b’ideat differenti dwar kif tidher tweġiba tajba, jew li outlier daħal fil-batch. Il-limitu użat hawn—massimu akbar minn ħames darbiet il-medja—mhuwiex assolut, iżda jiġbed għajnejk lejn il-post it-tajjeb.

def analyze_lengths(examples: list[dict]):
    """Analyzes the distribution of response lengths."""
    lengths = []
    for ex in examples:
        for msg in ex["messages"]:
            if msg["role"] == "assistant":
                lengths.append(len(msg["content"]))

    if lengths:
        avg = sum(lengths) / len(lengths)
        mini, maxi = min(lengths), max(lengths)
        print(f"Response length — Avg: {avg:.0f} | Min: {mini} | Max: {maxi}")
        if maxi > avg * 5:
            print("High dispersion — check for outliers")

L-użu tal-API ta’ validazzjoni ta’ OpenAI

Ladarba tkun ħaddimt il-verifiki tiegħek stess, ittella’ l-fajl u ħalli lil OpenAI jivvalidah ukoll. Huwa b’xejn, immedjat, u jiffrankalek milli tiskopri kwistjoni ta’ format meta jibda l-impjieg.

from openai import OpenAI

client = OpenAI()

file = client.files.create(
    file=open("training_data.jsonl", "rb"),
    purpose="fine-tune"
)

print(f"File uploaded: {file.id}")
print(f"Status: {file.status}")

Jekk il-fajl ikun fih żbalji, l-istatus jinbidel għal error b’messaġġ dettaljat. Issolvi l-kwistjonijiet irrappurtati qabel ma terġa’ tipprova.

Lista ta’ verifika qabel il-fine-tuning

Għaddi minn din il-lista f’ordni qabel ma toħloq l-impjieg—kull punt jikkorrispondi għal verifika koperta hawn fuq, ħlief l-aħħar waħda, li l-ebda skript ma jista’ jissostitwixxi:

  • Il-fajl JSONL huwa validu sintattikament
  • L-ebda duplikat
  • Test innormalizzat (UTF-8, spazji, punteġġjatura)
  • Il-messaġġi tas-sistema huma konsistenti
  • Mill-inqas 50 eżempju (idealment 100+)
  • Split ta’ taħriġ/validazzjoni mwettaq
  • Distribuzzjoni raġonevoli tat-tulijiet
  • Reviżjoni umana ta’ kampjun każwali

Punti Ewlenin

  • Dejjem ivvalida s-sintassi JSONL qabel ma ttella’
  • Neħħi d-duplikati biex tevita l-overfitting
  • Il-konsistenza tal-messaġġ tas-sistema hija essenzjali
  • Iċċekkja d-distribuzzjoni tat-tulijiet tar-risponsi
  • Ħalli bniedem jirrevedi kampjun—dan huwa insostitwibbli