Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Monitoraġġ tat-Taħriġ

Lezzjoni 7 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Għaliex Timmonitorja t-Taħriġ
  2. Iż-Żewġ Metriċi li Għandek Taqra
  3. Traċċar tal-Avvenimenti permezz tal-API
  4. Checkpoints u Riżultati Intermedjarji
  5. Meta Tieqaf
  6. Rapport Sommarju għal Kull Ġirja
  7. Punti Ewlenin

Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-Fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma użawh ma jistgħux joħolqu aktar impjiegi; mit-2 ta’ Lulju, trid tkun użajt mudell imħarreġ b’mod fin (fine-tuned) fi żmien l-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jniedi impjiegi ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt (prompt engineering), RAG, u l-evalwazzjonijiet.

Għaliex Timmonitorja t-Taħriġ

Jekk tniedi impjieg ta’ fine-tuning u tinsa bih, tispiċċa b’fatt magħmul: siegħa wara, issib mudell mingħajr ma tkun taf x’ġara f’dak iż-żmien. Billi tosserva l-metriċi waqt li t-taħriġ ikun għaddej, taqbad il-problemi kmieni, tiddeċiedi li taġġusta l-iperparametri qabel ma taħraq il-baġit kollu tiegħek, u l-aktar importanti, tifhem għaliex ġirja waħda ħarġet aħjar minn oħra. Il-monitoraġġ ibiddel serje ta’ provi f’dixxiplina tal-inġinerija.

Iż-Żewġ Metriċi li Għandek Taqra

It-training loss (telf fit-taħriġ) ikejjel kemm il-mudell huwa żbaljat fuq id-data tat-taħriġ—eżattament id-data li qed jassorbi f’dak il-mument. Dan għandu jonqos matul il-passi: dik hija s-sinjal li qed iseħħ it-tagħlim. Telf li jieqaf jiċċaqlaq jew jerġa’ jitla’ jindika problema, ġeneralment rata ta’ tagħlim (learning rate) mhux ikkalibrata sew jew korpus li huwa eteroġenju wisq.

Il-validation loss (telf fil-validazzjoni) ikejjel il-prestazzjoni fuq data li l-mudell qatt ma ra matul it-taħriġ—il-fajl li ħallejt barra waqt il-qsim. Din hija l-aktar metrika affidabbli biex tevalwa l-kwalità attwali tal-mudell tiegħek, għax hija l-unika waħda li l-mudell ma jistax itejjeb billi jiftakar biss (memorizzazzjoni). Hija l-evoluzzjoni konġunta tagħhom li tipprovdi d-dijanjożi.

Training loss Validation loss Dijanjożi
Tonqos Tonqos Kollox sew, kompli
Tonqos Tiżdied Overfitting — naqqas l-epoki
Wieqfa Wieqfa Underfitting — żid ir-rata ta' tagħlim
Toxxilla Toxxilla Instabbiltà — naqqas ir-rata ta' tagħlim

It-tieni ringiela hija dik li tiswef l-aktar fil-produzzjoni: training loss li tkompli tonqos filwaqt li l-validation loss terġa’ titla’ tiddeskrivi mudell li qed jiftakar l-eżempji tiegħek kelma b’kelma. Fuq il-karta, kollox jidher li qed jitjieb; fir-realtà, kull pass addizzjonali jiddeterjora l-abbiltà tiegħu li jwieġeb mistoqsija li qatt ma ra.

Traċċar tal-Avvenimenti permezz tal-API

L-API ma tibgħatx notifiki awtomatiċi: trid tikkonsulta (poll) l-impjieg f’intervalli regolari. Il-lukkap ta’ hawn taħt jiġbed avvenimenti ġodda, jurihom f’ordni kronoloġika waqt li jevita li jerġa’ juri dawk diġà viżibbli, u jirritorna l-kontroll malli l-impjieg jilħaq stat terminali.

from openai import OpenAI
import time

client = OpenAI()

def monitor_job(job_id: str):
    """Monitors a job in real time."""
    last_event = None

    while True:
        job = client.fine_tuning.jobs.retrieve(job_id)

        # Fetch new events
        events = client.fine_tuning.jobs.list_events(
            fine_tuning_job_id=job_id,
            limit=50
        )

        for event in reversed(events.data):
            if last_event and event.id == last_event:
                continue
            print(f"[{event.created_at}] {event.message}")

        if events.data:
            last_event = events.data[0].id

        if job.status in ("succeeded", "failed", "cancelled"):
            print(f"\nJob finished: {job.status}")
            if job.status == "succeeded":
                print(f"Model: {job.fine_tuned_model}")
            return job

        time.sleep(30)

# Usage
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")

L-avvenimenti ma fihomx biss messaġġi ta’ test: iġorru wkoll valuri ta’ telf (loss) f’kull pass. L-estrazzjoni tagħhom tippermettilek tipplottja kurva minflok ma taqra linji tal-log, u hija fuq kurva li tinduna b’daqqa t’għajn bi spike fil-validation loss.

def extract_metrics(job_id: str) -> dict:
    """Extracts loss metrics from a completed job."""
    events = client.fine_tuning.jobs.list_events(
        fine_tuning_job_id=job_id,
        limit=200
    )

    training_losses = []
    validation_losses = []

    for event in events.data:
        data = event.data
        if data and "train_loss" in str(data):
            training_losses.append(data)
        if data and "valid_loss" in str(data):
            validation_losses.append(data)

    return {
        "training": training_losses,
        "validation": validation_losses
    }

Checkpoints u Riżultati Intermedjarji

OpenAI jsalva checkpoints matul it-taħriġ. Jekk l-impjieg ifalli jew tikkanċellah, xi kultant tista’ tirkupera checkpoint intermedjarju użabbli—fi kliem ieħor, ġirja interrotta mhux neċessarjament hija ġirja mitlufa. Dan huwa wkoll riżors prezzjuż fil-każ ta’ overfitting tardiv: iċ-checkpoint meħud qabel is-spike fil-validation loss jista’ jkun aħjar mill-mudell finali.

# List checkpoints for a job
checkpoints = client.fine_tuning.jobs.checkpoints.list(
    fine_tuning_job_id=job.id
)

for cp in checkpoints.data:
    print(f"Step {cp.step_number}")
    print(f"  Model: {cp.fine_tuned_model_checkpoint}")
    if cp.metrics:
        print(f"  Training loss: {cp.metrics.train_loss:.4f}")
        if hasattr(cp.metrics, "valid_loss"):
            print(f"  Validation loss: {cp.metrics.valid_loss:.4f}")

Meta Tieqaf

Tliet sinjali jiġġustifikaw l-interruzzjoni ta’ ġirja ta’ taħriġ għaddejja. L-ewwel huwa validation loss li ilha titla’ għal diversi passi, mhux biss wieħed: valur iżolat huwa storbju, tendenza fuq ħames punti hija overfitting. It-tieni huwa training loss qrib iż-żero, li jfisser li l-mudell qed jirriproduċi l-eżempji tiegħek verbatim u m’għadux fadal x’jitgħallem minnhom. It-tielet huwa aktar prosajku: it-testijiet tiegħek ma qed jitjiebux minn checkpoint għall-ieħor, u kull pass addizzjonali biss iżid mal-kont.

# If you detect a problem, cancel the job
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")

Rapport Sommarju għal Kull Ġirja

Temm kull sessjoni ta’ taħriġ billi tipproduċi rekordazzjoniazzjonijiet li jistgħu jiġu implimentati. Il-funzjoni li ġejja tiġbor f’output wieħed l-ID tal-impjieg, il-mudell bażi, l-epoki użati, in-numru ta’ tokens imħarrġa, u l-metriċi mill-aħħar checkpoint. Ipejstja dawn ir-rapporti fir-reġistru tal-ġirjiet tiegħek (run log): f’xahar, jgħidulek għaliex żammejt din il-verżjoni minflok oħra.

def job_report(job_id: str):
    """Generates a summary report for the job."""
    job = client.fine_tuning.jobs.retrieve(job_id)

    print("=" * 50)
    print(f"Job: {job.id}")
    print(f"Base model: {job.model}")
    print(f"Status: {job.status}")
    print(f"Epochs: {job.hyperparameters.n_epochs}")

    if job.status == "succeeded":
        print(f"Fine-tuned model: {job.fine_tuned_model}")
        print(f"Trained tokens: {job.trained_tokens}")

    if job.status == "failed":
        print(f"Error: {job.error}")

    # Checkpoints
    checkpoints = client.fine_tuning.jobs.checkpoints.list(
        fine_tuning_job_id=job_id
    )
    if checkpoints.data:
        latest = checkpoints.data[0]
        print(f"Latest checkpoint: step {latest.step_number}")
        if latest.metrics:
            print(f"  Train loss: {latest.metrics.train_loss:.4f}")

    print("=" * 50)

job_report("ftjob-xxxxxxxxxxxxxxxx")

Punti Ewlenin

  • Dejjem immonitorja l-validation loss—hija l-indikatur veru tal-kwalità tiegħek
  • Jekk il-validation loss titla’, qed tagħmel overfitting: naqqas l-epoki
  • Iċ-checkpoints jippermettulek tirkupera stat intermedjarju
  • Awtomatizza l-monitoraġġ għal impjiegi li jdumu ħafna
  • Iddokumenta l-metriċi minn kull ġirja biex tqabbel l-iterazzjonijiet tiegħek