Monitoraġġ tat-Taħriġ
F'din il-paġna
Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-Fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma użawh ma jistgħux joħolqu aktar impjiegi; mit-2 ta’ Lulju, trid tkun użajt mudell imħarreġ b’mod fin (fine-tuned) fi żmien l-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jniedi impjiegi ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt (prompt engineering), RAG, u l-evalwazzjonijiet.
Għaliex Timmonitorja t-Taħriġ
Jekk tniedi impjieg ta’ fine-tuning u tinsa bih, tispiċċa b’fatt magħmul: siegħa wara, issib mudell mingħajr ma tkun taf x’ġara f’dak iż-żmien. Billi tosserva l-metriċi waqt li t-taħriġ ikun għaddej, taqbad il-problemi kmieni, tiddeċiedi li taġġusta l-iperparametri qabel ma taħraq il-baġit kollu tiegħek, u l-aktar importanti, tifhem għaliex ġirja waħda ħarġet aħjar minn oħra. Il-monitoraġġ ibiddel serje ta’ provi f’dixxiplina tal-inġinerija.
Iż-Żewġ Metriċi li Għandek Taqra
It-training loss (telf fit-taħriġ) ikejjel kemm il-mudell huwa żbaljat fuq id-data tat-taħriġ—eżattament id-data li qed jassorbi f’dak il-mument. Dan għandu jonqos matul il-passi: dik hija s-sinjal li qed iseħħ it-tagħlim. Telf li jieqaf jiċċaqlaq jew jerġa’ jitla’ jindika problema, ġeneralment rata ta’ tagħlim (learning rate) mhux ikkalibrata sew jew korpus li huwa eteroġenju wisq.
Il-validation loss (telf fil-validazzjoni) ikejjel il-prestazzjoni fuq data li l-mudell qatt ma ra matul it-taħriġ—il-fajl li ħallejt barra waqt il-qsim. Din hija l-aktar metrika affidabbli biex tevalwa l-kwalità attwali tal-mudell tiegħek, għax hija l-unika waħda li l-mudell ma jistax itejjeb billi jiftakar biss (memorizzazzjoni). Hija l-evoluzzjoni konġunta tagħhom li tipprovdi d-dijanjożi.
| Training loss | Validation loss | Dijanjożi |
|---|---|---|
| Tonqos | Tonqos | Kollox sew, kompli |
| Tonqos | Tiżdied | Overfitting — naqqas l-epoki |
| Wieqfa | Wieqfa | Underfitting — żid ir-rata ta' tagħlim |
| Toxxilla | Toxxilla | Instabbiltà — naqqas ir-rata ta' tagħlim |
It-tieni ringiela hija dik li tiswef l-aktar fil-produzzjoni: training loss li tkompli tonqos filwaqt li l-validation loss terġa’ titla’ tiddeskrivi mudell li qed jiftakar l-eżempji tiegħek kelma b’kelma. Fuq il-karta, kollox jidher li qed jitjieb; fir-realtà, kull pass addizzjonali jiddeterjora l-abbiltà tiegħu li jwieġeb mistoqsija li qatt ma ra.
Traċċar tal-Avvenimenti permezz tal-API
L-API ma tibgħatx notifiki awtomatiċi: trid tikkonsulta (poll) l-impjieg f’intervalli regolari. Il-lukkap ta’ hawn taħt jiġbed avvenimenti ġodda, jurihom f’ordni kronoloġika waqt li jevita li jerġa’ juri dawk diġà viżibbli, u jirritorna l-kontroll malli l-impjieg jilħaq stat terminali.
from openai import OpenAI
import time
client = OpenAI()
def monitor_job(job_id: str):
"""Monitors a job in real time."""
last_event = None
while True:
job = client.fine_tuning.jobs.retrieve(job_id)
# Fetch new events
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=50
)
for event in reversed(events.data):
if last_event and event.id == last_event:
continue
print(f"[{event.created_at}] {event.message}")
if events.data:
last_event = events.data[0].id
if job.status in ("succeeded", "failed", "cancelled"):
print(f"\nJob finished: {job.status}")
if job.status == "succeeded":
print(f"Model: {job.fine_tuned_model}")
return job
time.sleep(30)
# Usage
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")
L-avvenimenti ma fihomx biss messaġġi ta’ test: iġorru wkoll valuri ta’ telf (loss) f’kull pass. L-estrazzjoni tagħhom tippermettilek tipplottja kurva minflok ma taqra linji tal-log, u hija fuq kurva li tinduna b’daqqa t’għajn bi spike fil-validation loss.
def extract_metrics(job_id: str) -> dict:
"""Extracts loss metrics from a completed job."""
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=200
)
training_losses = []
validation_losses = []
for event in events.data:
data = event.data
if data and "train_loss" in str(data):
training_losses.append(data)
if data and "valid_loss" in str(data):
validation_losses.append(data)
return {
"training": training_losses,
"validation": validation_losses
}
Checkpoints u Riżultati Intermedjarji
OpenAI jsalva checkpoints matul it-taħriġ. Jekk l-impjieg ifalli jew tikkanċellah, xi kultant tista’ tirkupera checkpoint intermedjarju użabbli—fi kliem ieħor, ġirja interrotta mhux neċessarjament hija ġirja mitlufa. Dan huwa wkoll riżors prezzjuż fil-każ ta’ overfitting tardiv: iċ-checkpoint meħud qabel is-spike fil-validation loss jista’ jkun aħjar mill-mudell finali.
# List checkpoints for a job
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job.id
)
for cp in checkpoints.data:
print(f"Step {cp.step_number}")
print(f" Model: {cp.fine_tuned_model_checkpoint}")
if cp.metrics:
print(f" Training loss: {cp.metrics.train_loss:.4f}")
if hasattr(cp.metrics, "valid_loss"):
print(f" Validation loss: {cp.metrics.valid_loss:.4f}")
Meta Tieqaf
Tliet sinjali jiġġustifikaw l-interruzzjoni ta’ ġirja ta’ taħriġ għaddejja. L-ewwel huwa validation loss li ilha titla’ għal diversi passi, mhux biss wieħed: valur iżolat huwa storbju, tendenza fuq ħames punti hija overfitting. It-tieni huwa training loss qrib iż-żero, li jfisser li l-mudell qed jirriproduċi l-eżempji tiegħek verbatim u m’għadux fadal x’jitgħallem minnhom. It-tielet huwa aktar prosajku: it-testijiet tiegħek ma qed jitjiebux minn checkpoint għall-ieħor, u kull pass addizzjonali biss iżid mal-kont.
# If you detect a problem, cancel the job
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")
Rapport Sommarju għal Kull Ġirja
Temm kull sessjoni ta’ taħriġ billi tipproduċi rekordazzjoniazzjonijiet li jistgħu jiġu implimentati. Il-funzjoni li ġejja tiġbor f’output wieħed l-ID tal-impjieg, il-mudell bażi, l-epoki użati, in-numru ta’ tokens imħarrġa, u l-metriċi mill-aħħar checkpoint. Ipejstja dawn ir-rapporti fir-reġistru tal-ġirjiet tiegħek (run log): f’xahar, jgħidulek għaliex żammejt din il-verżjoni minflok oħra.
def job_report(job_id: str):
"""Generates a summary report for the job."""
job = client.fine_tuning.jobs.retrieve(job_id)
print("=" * 50)
print(f"Job: {job.id}")
print(f"Base model: {job.model}")
print(f"Status: {job.status}")
print(f"Epochs: {job.hyperparameters.n_epochs}")
if job.status == "succeeded":
print(f"Fine-tuned model: {job.fine_tuned_model}")
print(f"Trained tokens: {job.trained_tokens}")
if job.status == "failed":
print(f"Error: {job.error}")
# Checkpoints
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job_id
)
if checkpoints.data:
latest = checkpoints.data[0]
print(f"Latest checkpoint: step {latest.step_number}")
if latest.metrics:
print(f" Train loss: {latest.metrics.train_loss:.4f}")
print("=" * 50)
job_report("ftjob-xxxxxxxxxxxxxxxx")
Punti Ewlenin
- Dejjem immonitorja l-validation loss—hija l-indikatur veru tal-kwalità tiegħek
- Jekk il-validation loss titla’, qed tagħmel overfitting: naqqas l-epoki
- Iċ-checkpoints jippermettulek tirkupera stat intermedjarju
- Awtomatizza l-monitoraġġ għal impjiegi li jdumu ħafna
- Iddokumenta l-metriċi minn kull ġirja biex tqabbel l-iterazzjonijiet tiegħek