Koulutuksen seuranta
Tällä sivulla
Päivitys 2. marraskuuta 2026 — Hienosäädön saatavuus. OpenAI:n itsepalveluhienosäätö on poistumassa: 7. toukokuuta 2026 lähtien organisaatiot, jotka eivät ole koskaan käyttäneet sitä, eivät voi enää luoda tehtäviä; 2. heinäkuuta lähtien sinun on täytynyt käyttää hienosäädettyä mallia viimeisen 60 päivän aikana; ja 6. tammikuuta 2027 alkaen mikään asiakas ei voi käynnistää uusia tehtäviä. Jo koulutetut mallit pysyvät käytössä, kunnes niiden pohjamalli poistetaan käytöstä. Tämä kurssi on edelleen hyödyllinen olemassa olevan mallin ymmärtämiseen ja hyödyntämiseen; uusissa projekteissa priorisoi kehotetekniikkaa, RAG:ia ja arviointia.
Miksi koulutusta kannattaa seurata
Hienosäätötehtävän käynnistäminen ja sen unohtaminen jättää sinut valmiin tuloksen armoille: tunnin kuluttua huomaat olevasi mallin edessä tietämättä, mitä välillä tapahtui. Seuraamalla mittareita koulutuksen aikana havaitset ongelmat varhain, päätät säätää hyperparametreja ennen koko budjetin polttamista ja ennen kaikkea ymmärrät, miksi yksi suoritus onnistui paremmin kuin toinen. Seuranta muuttaa kokeilujen sarjan insinööritieteeksi.
Kaksi lukemisen arvoista mittaria
Koulutushäviö (training loss) mittaa, kuinka väärässä malli on koulutusdatan suhteen – juuri sen datan, jota se parhaillaan syö. Sen pitäisi laskea askelten myötä: se on merkki oppimisesta. Häviö, joka pysähtyy tai kääntyy nousuun, kertoo ongelmasta, yleensä huonosti kalibroidusta oppimisnopeudesta tai liian heterogeenisestä aineistosta.
Validointihäviö (validation loss) mittaa suorituskykyä datalla, jota malli ei ole koskaan nähnyt koulutuksen aikana – tiedostolla, jonka erotit jakovaiheessa. Tämä on luotettavin mittari mallin todellisen laadun arvioimiseen, koska se on ainoa, jota malli ei voi parantaa ulkomuistamalla. Juuri niiden yhteinen kehitys antaa diagnoosin.
| Koulutushäviö | Validointihäviö | Diagnoosi |
|---|---|---|
| Laskeva | Laskeva | Kaikki kunnossa, jatka |
| Laskeva | Nouseva | Ylisovittuminen – vähennä epoikkeja |
| Pysähtynyt | Pysähtynyt | Alisovittuminen – kasvata oppimisnopeutta |
| Värähtelevä | Värähtelevä | Epävakaus – vähennä oppimisnopeutta |
Toinen rivi on se, joka maksaa eniten tuotannossa: koulutushäviön jatkuva lasku samalla kun validointihäviö nousee kuvaa mallia, joka opettelee esimerkkisi ulkoa. Paperilla kaikki näyttää paranevan; todellisuudessa jokainen lisäaskel heikentää sen kykyä vastata kysymykseen, jota se ei ole koskaan nähnyt.
Tapahtumien seuranta API:n kautta
API ei lähetä ilmoituksia: sinun on kyseltävä tehtävän tilaa säännöllisin väliajoin. Alla oleva silmukka hakee uudet tapahtumat, näyttää ne aikajärjestyksessä välttäen jo nähtyjen uudelleen näyttämistä ja palauttaa hallinnan heti, kun tehtävä saavuttaa lopputilan.
from openai import OpenAI
import time
client = OpenAI()
def monitor_job(job_id: str):
"""Seuraa tehtävää reaaliajassa."""
last_event = None
while True:
job = client.fine_tuning.jobs.retrieve(job_id)
# Hae uudet tapahtumat
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=50
)
for event in reversed(events.data):
if last_event and event.id == last_event:
continue
print(f"[{event.created_at}] {event.message}")
if events.data:
last_event = events.data[0].id
if job.status in ("succeeded", "failed", "cancelled"):
print(f"\nJob finished: {job.status}")
if job.status == "succeeded":
print(f"Model: {job.fine_tuned_model}")
return job
time.sleep(30)
# Käyttö
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")
Tapahtumat eivät sisällä vain tekstiviestejä: ne sisältävät myös häviöarvot jokaiselta askeleelta. Niiden eristäminen mahdollistaa käyrän piirtämisen lokirivien lukemisen sijaan, ja juuri käyrältä havaitset validointihäviön piikin silmänräpäyksessä.
def extract_metrics(job_id: str) -> dict:
"""Poimii häviömittarit valmistuneesta tehtävästä."""
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=200
)
training_losses = []
validation_losses = []
for event in events.data:
data = event.data
if data and "train_loss" in str(data):
training_losses.append(data)
if data and "valid_loss" in str(data):
validation_losses.append(data)
return {
"training": training_losses,
"validation": validation_losses
}
Tarkistuspisteet ja välitulokset
OpenAI tallentaa tarkistuspisteitä koulutuksen aikana. Jos tehtävä epäonnistuu tai peruutat sen, voit joskus palauttaa käyttökelpoisen välivaiheen tarkistuspisteen – toisin sanoen keskeytynyt suoritus ei välttämättä ole hukkaan heitetty. Tämä on myös arvokas keino myöhäisen ylisovittumisen varalta: ennen validointihäviön piikkiä otettu tarkistuspiste voi olla parempi kuin lopullinen malli.
# Listaa tehtävän tarkistuspisteet
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job.id
)
for cp in checkpoints.data:
print(f"Step {cp.step_number}")
print(f" Model: {cp.fine_tuned_model_checkpoint}")
if cp.metrics:
print(f" Training loss: {cp.metrics.train_loss:.4f}")
if hasattr(cp.metrics, "valid_loss"):
print(f" Validation loss: {cp.metrics.valid_loss:.4f}")
Milloin lopettaa
Kolme signaalia oikeuttaa käynnissä olevan koulutussuorituksen keskeyttämisen. Ensimmäinen on validointihäviö, joka on noussut useamman askeleen ajan, ei vain yhden: yksittäinen arvo on kohinaa, viiden pisteen trendi on ylisovittumista. Toinen on nollan lähellä oleva koulutushäviö, mikä tarkoittaa, että malli toistaa esimerkkisi sanatarkasti eikä sillä ole enää mitään opittavaa niistä. Kolmas on proosallisempi: testisi eivät parane tarkistuspisteestä toiseen, ja jokainen lisäaskel vain kasvattaa laskua.
# Jos havaitset ongelman, peruuta tehtävä
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")
Yhteenvetoraportti kutakin suoritusta varten
Viimeistele jokainen koulutuskerta tuottamalla toimintakelpoinen tallenne. Seuraava funktio kokoaa yhteen tehtävän tunnisteen, pohjamallin, käytetyt epokit, koulutettujen tokenien määrän ja viimeisimmän tarkistuspisteen mittarit. Liitä nämä raportit suorituslokiisi: kuukauden kuluttua ne kertovat, miksi pidit kiinni tästä versiosta etkä jostain toisesta.
def job_report(job_id: str):
"""Generoi yhteenvetoraportin tehtävälle."""
job = client.fine_tuning.jobs.retrieve(job_id)
print("=" * 50)
print(f"Job: {job.id}")
print(f"Base model: {job.model}")
print(f"Status: {job.status}")
print(f"Epochs: {job.hyperparameters.n_epochs}")
if job.status == "succeeded":
print(f"Fine-tuned model: {job.fine_tuned_model}")
print(f"Trained tokens: {job.trained_tokens}")
if job.status == "failed":
print(f"Error: {job.error}")
# Tarkistuspisteet
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job_id
)
if checkpoints.data:
latest = checkpoints.data[0]
print(f"Latest checkpoint: step {latest.step_number}")
if latest.metrics:
print(f" Train loss: {latest.metrics.train_loss:.4f}")
print("=" * 50)
job_report("ftjob-xxxxxxxxxxxxxxxx")
Keskeiset asiat
- Seuraa aina validointihäviötä – se on todellinen laatumittarisi
- Jos validointihäviö nousee, kyseessä on ylisovittuminen: vähennä epoikkeja
- Tarkistuspisteet mahdollistavat välitilan palauttamisen
- Automatisoi seuranta pitkäkestoisille tehtäville
- Dokumentoi kunkin suorituksen mittarit iterointiesi vertailua varten