Koolituse jälgimine
Sellel lehel
Uuendus 2. novembril 2026 — Häälestamise kättesaadavus. OpenAI iseteeninduslik häälestamine on järk-järgult kasutuselt kõrvaldatav: alates 7. maist 2026 ei saa organisatsioonid, kes seda varem kasutanud pole, enam uusi töid luua; alates 2. juulist peab olema viimase 60 päeva jooksul kasutatud häälestatud mudelit; ja alates 6. jaanuarist 2027 ei saa ükski klient uusi töid käivitada. Juba koolitatud mudelid jäävad kasutatavaks kuni nende baasmudeli kasutuselt kõrvaldamiseni. See kursus on endiselt kasulik olemasoleva mudeli mõistmiseks ja rakendamiseks; uute projektide puhul sea esikohale vihjeinseneria (prompt engineering), RAG ja hindamine.
Miks koolitust jälgida
Kui käivitad häälestustöö ja unustad selle, seisad silmitsi tehtud faktiga: tund aega hiljem avastad valmis mudeli, teadmata, mis vahepeal toimus. Koolituse käigus näitajaid jälgides tabad probleemid varakult, saad otsustada hüperparameetreid kohandada enne kogu eelarve läbipõletamist ja mis kõige tähtsam – mõistad, miks üks katsetus oli teisest tulemuslikum. Jälgimine muudab katsetuste seeria inseneridistsipliiniks.
Kaks näitajat, mida lugeda
Koolituskadu (training loss) mõõdab, kui väga mudel eksib koolitusandmetel – just nendel andmetel, mida ta parajasti töötleb. See peaks sammude jooksul vähenema: see on märk, et õppimine toimub. Kadu, mis peatub või taas kasvab, viitab probleemile, tavaliselt halvasti seadistatud õppimismäärale või liiga heterogeensele korpusele.
Valideerimiskadu (validation loss) mõõdab jõudlust andmetel, mida mudel koolituse ajal kunagi näinud pole – fail, mille eraldasid jagamise käigus. See on kõige usaldusväärsem näitaja mudeli tegeliku kvaliteedi hindamiseks, sest see on ainus, mida mudel ei saa parandada päheõppimisega. Just nende kahe koosmõju annab diagnoosi.
| Koolituskadu | Valideerimiskadu | Diagnoos |
|---|---|---|
| Vähenev | Vähenev | Kõik korras, jätka |
| Vähenev | Kasvav | Ülesobitumine – vähenda epohhe |
| Peatunud | Peatunud | Alaõppimine – suurenda õppimismäära |
| Võnkuv | Võnkuv | Ebastabiilsus – vähenda õppimismäära |
Teine rida on tootmises kõige kulukam: olukord, kus koolituskadu pidevalt väheneb, samas kui valideerimiskadu taas kasvab, kirjeldab mudelit, mis õpib su näited pähe. Paberil tundub kõik paranevat; tegelikkuses halvendab iga lisasamm selle võimet vastata küsimusele, mida ta pole varem näinud.
Sündmuste jälgimine API kaudu
API ei saada teavitusi: pead tööd regulaarsete ajavahemike järel päringuga kontrollima. Allpool olev tsükkel toob uued sündmused, kuvab need kronoloogilises järjekorras, vältides juba nähtud kordamist, ja tagastab kontrolli niipea, kui töö jõuab lõppseisundisse.
from openai import OpenAI
import time
client = OpenAI()
def monitor_job(job_id: str):
"""Jälgib tööd reaalajas."""
last_event = None
while True:
job = client.fine_tuning.jobs.retrieve(job_id)
# Too uued sündmused
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=50
)
for event in reversed(events.data):
if last_event and event.id == last_event:
continue
print(f"[{event.created_at}] {event.message}")
if events.data:
last_event = events.data[0].id
if job.status in ("succeeded", "failed", "cancelled"):
print(f"\nJob finished: {job.status}")
if job.status == "succeeded":
print(f"Model: {job.fine_tuned_model}")
return job
time.sleep(30)
# Kasutamine
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")
Sündmused ei sisalda ainult tekstisõnumeid: need kannavad endas ka kadu väärtusi igal sammul. Nende eraldamine võimaldab joonestada kõverat logiridade lugemise asemel ja just kõveral märkad valideerimiskao hüpet esmapilgul.
def extract_metrics(job_id: str) -> dict:
"""Eraldab kadu näitajad lõpetatud tööst."""
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=200
)
training_losses = []
validation_losses = []
for event in events.data:
data = event.data
if data and "train_loss" in str(data):
training_losses.append(data)
if data and "valid_loss" in str(data):
validation_losses.append(data)
return {
"training": training_losses,
"validation": validation_losses
}
Kontrollpunktid ja vahe tulemused
OpenAI salvestab koolituse käigus kontrollpunkte. Kui töö ebaõnnestub või selle tühistad, saad mõnikord taastada kasutatava vahepealse kontrollpunkti – teisisõnu, katkenud töö ei pruugi olla kaotatud töö. See on väärtuslik varuvõimalus ka hilise ülesobitumise korral: enne valideerimiskao hüpet tehtud kontrollpunkt võib olla parem kui lõplik mudel.
# Loetle töö kontrollpunktid
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job.id
)
for cp in checkpoints.data:
print(f"Step {cp.step_number}")
print(f" Model: {cp.fine_tuned_model_checkpoint}")
if cp.metrics:
print(f" Training loss: {cp.metrics.train_loss:.4f}")
if hasattr(cp.metrics, "valid_loss"):
print(f" Validation loss: {cp.metrics.valid_loss:.4f}")
Teadmine, millal peatuda
Kolm signaali õigustavad käimasoleva koolituse katkestamist. Esimene on valideerimiskadu, mis on kasvanud mitme sammu vältel, mitte ainult ühe: üksik väärtus on müra, viie punkti trend on ülesobitumine. Teine on nullilähedane koolituskadu, mis tähendab, et mudel kordab su näiteid sõna-sõnalt ja pole neilt enam midagi õppida. Kolmas on proosalisem: su testid ei parane ühelt kontrollpunktilt teisele ja iga lisasamm ainult suurendab arvet.
# Kui tuvastad probleemi, tühista töö
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")
Kokkuvõtlik aruanne iga katsetuse kohta
Lõpeta iga koolitusseanss tegevussuuniseid sisaldava kirje koostamisega. Järgnev funktsioon koondab ühte väljundisse töö ID, baasmudeli, kasutatud epohhid, koolitatud tokenite arvu ja viimase kontrollpunkti näitajad. Kleebi need aruanded oma katsetuste logisse: kuu aja pärast räägivad need sulle, miks säilitasid selle versiooni ja mitte teise.
def job_report(job_id: str):
"""Genereerib töö kokkuvõtliku aruande."""
job = client.fine_tuning.jobs.retrieve(job_id)
print("=" * 50)
print(f"Job: {job.id}")
print(f"Base model: {job.model}")
print(f"Status: {job.status}")
print(f"Epochs: {job.hyperparameters.n_epochs}")
if job.status == "succeeded":
print(f"Fine-tuned model: {job.fine_tuned_model}")
print(f"Trained tokens: {job.trained_tokens}")
if job.status == "failed":
print(f"Error: {job.error}")
# Kontrollpunktid
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job_id
)
if checkpoints.data:
latest = checkpoints.data[0]
print(f"Latest checkpoint: step {latest.step_number}")
if latest.metrics:
print(f" Train loss: {latest.metrics.train_loss:.4f}")
print("=" * 50)
job_report("ftjob-xxxxxxxxxxxxxxxx")
Peamised punktid
- Jälgi alati valideerimiskadu – see on su tegelik kvaliteedinäitaja
- Kui valideerimiskadu kasvab, toimub ülesobitumine: vähenda epohhe
- Kontrollpunktid võimaldavad taastada vahepealse seisundi
- Automatiseeri pikaajaliste tööde jälgimine
- Dokumenteeri iga katsetuse näitajad, et oma iteratsioone võrrelda