Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Koulutuksen seuranta

Oppitunti 7 / 16 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Miksi koulutusta kannattaa seurata
  2. Kaksi lukemisen arvoista mittaria
  3. Tapahtumien seuranta API:n kautta
  4. Tarkistuspisteet ja välitulokset
  5. Milloin lopettaa
  6. Yhteenvetoraportti kutakin suoritusta varten
  7. Keskeiset asiat

Päivitys 2. marraskuuta 2026 — Hienosäädön saatavuus. OpenAI:n itsepalveluhienosäätö on poistumassa: 7. toukokuuta 2026 lähtien organisaatiot, jotka eivät ole koskaan käyttäneet sitä, eivät voi enää luoda tehtäviä; 2. heinäkuuta lähtien sinun on täytynyt käyttää hienosäädettyä mallia viimeisen 60 päivän aikana; ja 6. tammikuuta 2027 alkaen mikään asiakas ei voi käynnistää uusia tehtäviä. Jo koulutetut mallit pysyvät käytössä, kunnes niiden pohjamalli poistetaan käytöstä. Tämä kurssi on edelleen hyödyllinen olemassa olevan mallin ymmärtämiseen ja hyödyntämiseen; uusissa projekteissa priorisoi kehotetekniikkaa, RAG:ia ja arviointia.

Miksi koulutusta kannattaa seurata

Hienosäätötehtävän käynnistäminen ja sen unohtaminen jättää sinut valmiin tuloksen armoille: tunnin kuluttua huomaat olevasi mallin edessä tietämättä, mitä välillä tapahtui. Seuraamalla mittareita koulutuksen aikana havaitset ongelmat varhain, päätät säätää hyperparametreja ennen koko budjetin polttamista ja ennen kaikkea ymmärrät, miksi yksi suoritus onnistui paremmin kuin toinen. Seuranta muuttaa kokeilujen sarjan insinööritieteeksi.

Kaksi lukemisen arvoista mittaria

Koulutushäviö (training loss) mittaa, kuinka väärässä malli on koulutusdatan suhteen – juuri sen datan, jota se parhaillaan syö. Sen pitäisi laskea askelten myötä: se on merkki oppimisesta. Häviö, joka pysähtyy tai kääntyy nousuun, kertoo ongelmasta, yleensä huonosti kalibroidusta oppimisnopeudesta tai liian heterogeenisestä aineistosta.

Validointihäviö (validation loss) mittaa suorituskykyä datalla, jota malli ei ole koskaan nähnyt koulutuksen aikana – tiedostolla, jonka erotit jakovaiheessa. Tämä on luotettavin mittari mallin todellisen laadun arvioimiseen, koska se on ainoa, jota malli ei voi parantaa ulkomuistamalla. Juuri niiden yhteinen kehitys antaa diagnoosin.

Koulutushäviö Validointihäviö Diagnoosi
Laskeva Laskeva Kaikki kunnossa, jatka
Laskeva Nouseva Ylisovittuminen – vähennä epoikkeja
Pysähtynyt Pysähtynyt Alisovittuminen – kasvata oppimisnopeutta
Värähtelevä Värähtelevä Epävakaus – vähennä oppimisnopeutta

Toinen rivi on se, joka maksaa eniten tuotannossa: koulutushäviön jatkuva lasku samalla kun validointihäviö nousee kuvaa mallia, joka opettelee esimerkkisi ulkoa. Paperilla kaikki näyttää paranevan; todellisuudessa jokainen lisäaskel heikentää sen kykyä vastata kysymykseen, jota se ei ole koskaan nähnyt.

Tapahtumien seuranta API:n kautta

API ei lähetä ilmoituksia: sinun on kyseltävä tehtävän tilaa säännöllisin väliajoin. Alla oleva silmukka hakee uudet tapahtumat, näyttää ne aikajärjestyksessä välttäen jo nähtyjen uudelleen näyttämistä ja palauttaa hallinnan heti, kun tehtävä saavuttaa lopputilan.

from openai import OpenAI
import time

client = OpenAI()

def monitor_job(job_id: str):
    """Seuraa tehtävää reaaliajassa."""
    last_event = None

    while True:
        job = client.fine_tuning.jobs.retrieve(job_id)

        # Hae uudet tapahtumat
        events = client.fine_tuning.jobs.list_events(
            fine_tuning_job_id=job_id,
            limit=50
        )

        for event in reversed(events.data):
            if last_event and event.id == last_event:
                continue
            print(f"[{event.created_at}] {event.message}")

        if events.data:
            last_event = events.data[0].id

        if job.status in ("succeeded", "failed", "cancelled"):
            print(f"\nJob finished: {job.status}")
            if job.status == "succeeded":
                print(f"Model: {job.fine_tuned_model}")
            return job

        time.sleep(30)

# Käyttö
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")

Tapahtumat eivät sisällä vain tekstiviestejä: ne sisältävät myös häviöarvot jokaiselta askeleelta. Niiden eristäminen mahdollistaa käyrän piirtämisen lokirivien lukemisen sijaan, ja juuri käyrältä havaitset validointihäviön piikin silmänräpäyksessä.

def extract_metrics(job_id: str) -> dict:
    """Poimii häviömittarit valmistuneesta tehtävästä."""
    events = client.fine_tuning.jobs.list_events(
        fine_tuning_job_id=job_id,
        limit=200
    )

    training_losses = []
    validation_losses = []

    for event in events.data:
        data = event.data
        if data and "train_loss" in str(data):
            training_losses.append(data)
        if data and "valid_loss" in str(data):
            validation_losses.append(data)

    return {
        "training": training_losses,
        "validation": validation_losses
    }

Tarkistuspisteet ja välitulokset

OpenAI tallentaa tarkistuspisteitä koulutuksen aikana. Jos tehtävä epäonnistuu tai peruutat sen, voit joskus palauttaa käyttökelpoisen välivaiheen tarkistuspisteen – toisin sanoen keskeytynyt suoritus ei välttämättä ole hukkaan heitetty. Tämä on myös arvokas keino myöhäisen ylisovittumisen varalta: ennen validointihäviön piikkiä otettu tarkistuspiste voi olla parempi kuin lopullinen malli.

# Listaa tehtävän tarkistuspisteet
checkpoints = client.fine_tuning.jobs.checkpoints.list(
    fine_tuning_job_id=job.id
)

for cp in checkpoints.data:
    print(f"Step {cp.step_number}")
    print(f"  Model: {cp.fine_tuned_model_checkpoint}")
    if cp.metrics:
        print(f"  Training loss: {cp.metrics.train_loss:.4f}")
        if hasattr(cp.metrics, "valid_loss"):
            print(f"  Validation loss: {cp.metrics.valid_loss:.4f}")

Milloin lopettaa

Kolme signaalia oikeuttaa käynnissä olevan koulutussuorituksen keskeyttämisen. Ensimmäinen on validointihäviö, joka on noussut useamman askeleen ajan, ei vain yhden: yksittäinen arvo on kohinaa, viiden pisteen trendi on ylisovittumista. Toinen on nollan lähellä oleva koulutushäviö, mikä tarkoittaa, että malli toistaa esimerkkisi sanatarkasti eikä sillä ole enää mitään opittavaa niistä. Kolmas on proosallisempi: testisi eivät parane tarkistuspisteestä toiseen, ja jokainen lisäaskel vain kasvattaa laskua.

# Jos havaitset ongelman, peruuta tehtävä
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")

Yhteenvetoraportti kutakin suoritusta varten

Viimeistele jokainen koulutuskerta tuottamalla toimintakelpoinen tallenne. Seuraava funktio kokoaa yhteen tehtävän tunnisteen, pohjamallin, käytetyt epokit, koulutettujen tokenien määrän ja viimeisimmän tarkistuspisteen mittarit. Liitä nämä raportit suorituslokiisi: kuukauden kuluttua ne kertovat, miksi pidit kiinni tästä versiosta etkä jostain toisesta.

def job_report(job_id: str):
    """Generoi yhteenvetoraportin tehtävälle."""
    job = client.fine_tuning.jobs.retrieve(job_id)

    print("=" * 50)
    print(f"Job: {job.id}")
    print(f"Base model: {job.model}")
    print(f"Status: {job.status}")
    print(f"Epochs: {job.hyperparameters.n_epochs}")

    if job.status == "succeeded":
        print(f"Fine-tuned model: {job.fine_tuned_model}")
        print(f"Trained tokens: {job.trained_tokens}")

    if job.status == "failed":
        print(f"Error: {job.error}")

    # Tarkistuspisteet
    checkpoints = client.fine_tuning.jobs.checkpoints.list(
        fine_tuning_job_id=job_id
    )
    if checkpoints.data:
        latest = checkpoints.data[0]
        print(f"Latest checkpoint: step {latest.step_number}")
        if latest.metrics:
            print(f"  Train loss: {latest.metrics.train_loss:.4f}")

    print("=" * 50)

job_report("ftjob-xxxxxxxxxxxxxxxx")

Keskeiset asiat

  • Seuraa aina validointihäviötä – se on todellinen laatumittarisi
  • Jos validointihäviö nousee, kyseessä on ylisovittuminen: vähennä epoikkeja
  • Tarkistuspisteet mahdollistavat välitilan palauttamisen
  • Automatisoi seuranta pitkäkestoisille tehtäville
  • Dokumentoi kunkin suorituksen mittarit iterointiesi vertailua varten