Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Koolituse jälgimine

Õppetund 7 / 16 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Miks koolitust jälgida
  2. Kaks näitajat, mida lugeda
  3. Sündmuste jälgimine API kaudu
  4. Kontrollpunktid ja vahe tulemused
  5. Teadmine, millal peatuda
  6. Kokkuvõtlik aruanne iga katsetuse kohta
  7. Peamised punktid

Uuendus 2. novembril 2026 — Häälestamise kättesaadavus. OpenAI iseteeninduslik häälestamine on järk-järgult kasutuselt kõrvaldatav: alates 7. maist 2026 ei saa organisatsioonid, kes seda varem kasutanud pole, enam uusi töid luua; alates 2. juulist peab olema viimase 60 päeva jooksul kasutatud häälestatud mudelit; ja alates 6. jaanuarist 2027 ei saa ükski klient uusi töid käivitada. Juba koolitatud mudelid jäävad kasutatavaks kuni nende baasmudeli kasutuselt kõrvaldamiseni. See kursus on endiselt kasulik olemasoleva mudeli mõistmiseks ja rakendamiseks; uute projektide puhul sea esikohale vihjeinseneria (prompt engineering), RAG ja hindamine.

Miks koolitust jälgida

Kui käivitad häälestustöö ja unustad selle, seisad silmitsi tehtud faktiga: tund aega hiljem avastad valmis mudeli, teadmata, mis vahepeal toimus. Koolituse käigus näitajaid jälgides tabad probleemid varakult, saad otsustada hüperparameetreid kohandada enne kogu eelarve läbipõletamist ja mis kõige tähtsam – mõistad, miks üks katsetus oli teisest tulemuslikum. Jälgimine muudab katsetuste seeria inseneridistsipliiniks.

Kaks näitajat, mida lugeda

Koolituskadu (training loss) mõõdab, kui väga mudel eksib koolitusandmetel – just nendel andmetel, mida ta parajasti töötleb. See peaks sammude jooksul vähenema: see on märk, et õppimine toimub. Kadu, mis peatub või taas kasvab, viitab probleemile, tavaliselt halvasti seadistatud õppimismäärale või liiga heterogeensele korpusele.

Valideerimiskadu (validation loss) mõõdab jõudlust andmetel, mida mudel koolituse ajal kunagi näinud pole – fail, mille eraldasid jagamise käigus. See on kõige usaldusväärsem näitaja mudeli tegeliku kvaliteedi hindamiseks, sest see on ainus, mida mudel ei saa parandada päheõppimisega. Just nende kahe koosmõju annab diagnoosi.

Koolituskadu Valideerimiskadu Diagnoos
Vähenev Vähenev Kõik korras, jätka
Vähenev Kasvav Ülesobitumine – vähenda epohhe
Peatunud Peatunud Alaõppimine – suurenda õppimismäära
Võnkuv Võnkuv Ebastabiilsus – vähenda õppimismäära

Teine rida on tootmises kõige kulukam: olukord, kus koolituskadu pidevalt väheneb, samas kui valideerimiskadu taas kasvab, kirjeldab mudelit, mis õpib su näited pähe. Paberil tundub kõik paranevat; tegelikkuses halvendab iga lisasamm selle võimet vastata küsimusele, mida ta pole varem näinud.

Sündmuste jälgimine API kaudu

API ei saada teavitusi: pead tööd regulaarsete ajavahemike järel päringuga kontrollima. Allpool olev tsükkel toob uued sündmused, kuvab need kronoloogilises järjekorras, vältides juba nähtud kordamist, ja tagastab kontrolli niipea, kui töö jõuab lõppseisundisse.

from openai import OpenAI
import time

client = OpenAI()

def monitor_job(job_id: str):
    """Jälgib tööd reaalajas."""
    last_event = None

    while True:
        job = client.fine_tuning.jobs.retrieve(job_id)

        # Too uued sündmused
        events = client.fine_tuning.jobs.list_events(
            fine_tuning_job_id=job_id,
            limit=50
        )

        for event in reversed(events.data):
            if last_event and event.id == last_event:
                continue
            print(f"[{event.created_at}] {event.message}")

        if events.data:
            last_event = events.data[0].id

        if job.status in ("succeeded", "failed", "cancelled"):
            print(f"\nJob finished: {job.status}")
            if job.status == "succeeded":
                print(f"Model: {job.fine_tuned_model}")
            return job

        time.sleep(30)

# Kasutamine
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")

Sündmused ei sisalda ainult tekstisõnumeid: need kannavad endas ka kadu väärtusi igal sammul. Nende eraldamine võimaldab joonestada kõverat logiridade lugemise asemel ja just kõveral märkad valideerimiskao hüpet esmapilgul.

def extract_metrics(job_id: str) -> dict:
    """Eraldab kadu näitajad lõpetatud tööst."""
    events = client.fine_tuning.jobs.list_events(
        fine_tuning_job_id=job_id,
        limit=200
    )

    training_losses = []
    validation_losses = []

    for event in events.data:
        data = event.data
        if data and "train_loss" in str(data):
            training_losses.append(data)
        if data and "valid_loss" in str(data):
            validation_losses.append(data)

    return {
        "training": training_losses,
        "validation": validation_losses
    }

Kontrollpunktid ja vahe tulemused

OpenAI salvestab koolituse käigus kontrollpunkte. Kui töö ebaõnnestub või selle tühistad, saad mõnikord taastada kasutatava vahepealse kontrollpunkti – teisisõnu, katkenud töö ei pruugi olla kaotatud töö. See on väärtuslik varuvõimalus ka hilise ülesobitumise korral: enne valideerimiskao hüpet tehtud kontrollpunkt võib olla parem kui lõplik mudel.

# Loetle töö kontrollpunktid
checkpoints = client.fine_tuning.jobs.checkpoints.list(
    fine_tuning_job_id=job.id
)

for cp in checkpoints.data:
    print(f"Step {cp.step_number}")
    print(f"  Model: {cp.fine_tuned_model_checkpoint}")
    if cp.metrics:
        print(f"  Training loss: {cp.metrics.train_loss:.4f}")
        if hasattr(cp.metrics, "valid_loss"):
            print(f"  Validation loss: {cp.metrics.valid_loss:.4f}")

Teadmine, millal peatuda

Kolm signaali õigustavad käimasoleva koolituse katkestamist. Esimene on valideerimiskadu, mis on kasvanud mitme sammu vältel, mitte ainult ühe: üksik väärtus on müra, viie punkti trend on ülesobitumine. Teine on nullilähedane koolituskadu, mis tähendab, et mudel kordab su näiteid sõna-sõnalt ja pole neilt enam midagi õppida. Kolmas on proosalisem: su testid ei parane ühelt kontrollpunktilt teisele ja iga lisasamm ainult suurendab arvet.

# Kui tuvastad probleemi, tühista töö
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")

Kokkuvõtlik aruanne iga katsetuse kohta

Lõpeta iga koolitusseanss tegevussuuniseid sisaldava kirje koostamisega. Järgnev funktsioon koondab ühte väljundisse töö ID, baasmudeli, kasutatud epohhid, koolitatud tokenite arvu ja viimase kontrollpunkti näitajad. Kleebi need aruanded oma katsetuste logisse: kuu aja pärast räägivad need sulle, miks säilitasid selle versiooni ja mitte teise.

def job_report(job_id: str):
    """Genereerib töö kokkuvõtliku aruande."""
    job = client.fine_tuning.jobs.retrieve(job_id)

    print("=" * 50)
    print(f"Job: {job.id}")
    print(f"Base model: {job.model}")
    print(f"Status: {job.status}")
    print(f"Epochs: {job.hyperparameters.n_epochs}")

    if job.status == "succeeded":
        print(f"Fine-tuned model: {job.fine_tuned_model}")
        print(f"Trained tokens: {job.trained_tokens}")

    if job.status == "failed":
        print(f"Error: {job.error}")

    # Kontrollpunktid
    checkpoints = client.fine_tuning.jobs.checkpoints.list(
        fine_tuning_job_id=job_id
    )
    if checkpoints.data:
        latest = checkpoints.data[0]
        print(f"Latest checkpoint: step {latest.step_number}")
        if latest.metrics:
            print(f"  Train loss: {latest.metrics.train_loss:.4f}")

    print("=" * 50)

job_report("ftjob-xxxxxxxxxxxxxxxx")

Peamised punktid

  • Jälgi alati valideerimiskadu – see on su tegelik kvaliteedinäitaja
  • Kui valideerimiskadu kasvab, toimub ülesobitumine: vähenda epohhe
  • Kontrollpunktid võimaldavad taastada vahepealse seisundi
  • Automatiseeri pikaajaliste tööde jälgimine
  • Dokumenteeri iga katsetuse näitajad, et oma iteratsioone võrrelda