Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Praćenje obuke

Lekcija 7 od 16 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Zašto pratiti obuku
  2. Dvije metrike koje trebaš čitati
  3. Praćenje događaja putem API-ja
  4. Kontrolne točke i međurezultati
  5. Kada zaustaviti obuku
  6. Sažeto izvješće po izvedbi
  7. Ključne točke

Ažuriranje 2. studenoga 2026. — Dostupnost fino podešavanja. OpenAI postupno ukida samostalno fino podešavanje: od 7. svibnja 2026. organizacije koje ga nikada nisu koristile više ne mogu stvarati zadatke; od 2. srpnja morali ste koristiti fino podešeni model u posljednjih 60 dana; a počevši od 6. siječnja 2027., nijedan korisnik neće moći pokrenuti nove zadatke. Već obučeni modeli ostaju upotrebljivi dok se njihov osnovni model ne povuče. Ovaj tečaj i dalje je koristan za razumijevanje i iskorištavanje postojećeg modela; za nove projekte dajte prednost inženjerstvu upita (prompt engineering), RAG-u i evaluacijama.

Zašto pratiti obuku

Pokretanje zadatka finog podešavanja i njegovo zaboravljanje ostavlja te s gotovim činom: sat kasnije otkriješ model, a da ne znaš što se dogodilo u međuvremenu. Promatranjem metrika tijekom trajanja obuke rano uočavaš probleme, odlučuješ prilagoditi hiperparametre prije nego što potrošiš cijeli proračun i, prije svega, razumiješ zašto je jedna izvedba bila bolja od druge. Praćenje pretvara niz pokušaja u inženjersku disciplinu.

Dvije metrike koje trebaš čitati

Gubitak na podacima za obuku (training loss) mjeri koliko model griješi na podacima za obuku — upravo onim podacima koje trenutno obrađuje. Trebao bi se smanjivati kroz korake: to je znak da se učenje događa. Gubitak koji stagnira ili ponovno raste ukazuje na problem, obično loše podešenu stopu učenja ili previše heterogen korpus.

Gubitak na validacijskim podacima (validation loss) mjeri učinkovitost na podacima koje model nikada nije vidio tijekom obuke — datoteci koju si izdvojio tijekom podjele. Ovo je najpouzdanija metrika za procjenu stvarne kvalitete tvog modela jer je to jedina metrika koju model ne može poboljšati pukim pamćenjem. Upravo njihov zajednički razvoj pruža dijagnozu.

Gubitak na obuci Gubitak na validaciji Dijagnoza
Smanjuje se Smanjuje se Sve je u redu, nastavi
Smanjuje se Raste Preprilagodba (overfitting) — smanji epohe
Stagnira Stagnira Nedovoljna prilagodba (underfitting) — povećaj stopu učenja
Oscilira Oscilira Nestabilnost — smanji stopu učenja

Drugi red je onaj koji u proizvodnji najviše košta: gubitak na obuci koji se neprestano smanjuje dok gubitak na validaciji ponovno raste opisuje model koji napamet uči tvoje primjere. Na papiru se čini da se sve poboljšava; u stvarnosti, svaki dodatni korak narušava njegovu sposobnost odgovaranja na pitanja koja nikada nije vidio.

Praćenje događaja putem API-ja

API ne šalje obavijesti: moraš redovito ispitivati (poll) status zadatka. Donja petlja dohvaća nove događaje, prikazuje ih kronološkim redoslijedom izbjegavajući ponovni prikaz već viđenih i vraća kontrolu čim zadatak dosegne završno stanje.

from openai import OpenAI
import time

client = OpenAI()

def monitor_job(job_id: str):
    """Prati zadatak u stvarnom vremenu."""
    last_event = None

    while True:
        job = client.fine_tuning.jobs.retrieve(job_id)

        # Dohvati nove događaje
        events = client.fine_tuning.jobs.list_events(
            fine_tuning_job_id=job_id,
            limit=50
        )

        for event in reversed(events.data):
            if last_event and event.id == last_event:
                continue
            print(f"[{event.created_at}] {event.message}")

        if events.data:
            last_event = events.data[0].id

        if job.status in ("succeeded", "failed", "cancelled"):
            print(f"\nJob finished: {job.status}")
            if job.status == "succeeded":
                print(f"Model: {job.fine_tuned_model}")
            return job

        time.sleep(30)

# Upotreba
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")

Događaji ne sadrže samo tekstualne poruke: oni također nose vrijednosti gubitka za svaki korak. Njihovo izvlačenje omogućuje ti crtanje krivulje umjesto čitanja redaka dnevnika, a upravo se na krivulji golim okom uočava skok gubitka na validaciji.

def extract_metrics(job_id: str) -> dict:
    """Izvlači metrike gubitka iz završenog zadatka."""
    events = client.fine_tuning.jobs.list_events(
        fine_tuning_job_id=job_id,
        limit=200
    )

    training_losses = []
    validation_losses = []

    for event in events.data:
        data = event.data
        if data and "train_loss" in str(data):
            training_losses.append(data)
        if data and "valid_loss" in str(data):
            validation_losses.append(data)

    return {
        "training": training_losses,
        "validation": validation_losses
    }

Kontrolne točke i međurezultati

OpenAI sprema kontrolne točke (checkpoints) tijekom obuke. Ako zadatak ne uspije ili ga otkažeš, ponekad možeš oporaviti upotrebljivu međukontrolnu točku — drugim riječima, prekinuta izvedba nije nužno i izgubljena izvedba. Ovo je također vrijedno rješenje u slučaju kasne preprilagodbe: kontrolna točka napravljena prije skoka gubitka na validaciji može biti bolja od konačnog modela.

# Popis kontrolnih točaka za zadatak
checkpoints = client.fine_tuning.jobs.checkpoints.list(
    fine_tuning_job_id=job.id
)

for cp in checkpoints.data:
    print(f"Step {cp.step_number}")
    print(f"  Model: {cp.fine_tuned_model_checkpoint}")
    if cp.metrics:
        print(f"  Training loss: {cp.metrics.train_loss:.4f}")
        if hasattr(cp.metrics, "valid_loss"):
            print(f"  Validation loss: {cp.metrics.valid_loss:.4f}")

Kada zaustaviti obuku

Tri signala opravdavaju prekid obuke koja je u tijeku. Prvi je gubitak na validaciji koji raste već nekoliko koraka, a ne samo jedan: izolirana vrijednost je šum, trend kroz pet točaka je preprilagodba. Drugi je gubitak na obuci blizu nule, što znači da model doslovce reproducira tvoje primjere i da od njih više nema što naučiti. Treći je prozaičniji: tvoji testovi se ne poboljšavaju od jedne kontrolne točke do druge, a svaki dodatni korak samo povećava račun.

# Ako otkriješ problem, otkaži zadatak
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")

Sažeto izvješće po izvedbi

Završi svaku sesiju obuke izradom djelotvornog zapisa. Sljedeća funkcija u jedan ispis sakuplja ID zadatka, osnovni model, korištene epohe, broj obučenih tokena i metrike iz posljednje kontrolne točke. Zalijepi ova izvješća u svoj dnevnik izvedbi: za mjesec dana reći će ti zašto si zadržao ovu verziju, a ne neku drugu.

def job_report(job_id: str):
    """Generira sažeto izvješće za zadatak."""
    job = client.fine_tuning.jobs.retrieve(job_id)

    print("=" * 50)
    print(f"Job: {job.id}")
    print(f"Base model: {job.model}")
    print(f"Status: {job.status}")
    print(f"Epochs: {job.hyperparameters.n_epochs}")

    if job.status == "succeeded":
        print(f"Fine-tuned model: {job.fine_tuned_model}")
        print(f"Trained tokens: {job.trained_tokens}")

    if job.status == "failed":
        print(f"Error: {job.error}")

    # Kontrolne točke
    checkpoints = client.fine_tuning.jobs.checkpoints.list(
        fine_tuning_job_id=job_id
    )
    if checkpoints.data:
        latest = checkpoints.data[0]
        print(f"Latest checkpoint: step {latest.step_number}")
        if latest.metrics:
            print(f"  Train loss: {latest.metrics.train_loss:.4f}")

    print("=" * 50)

job_report("ftjob-xxxxxxxxxxxxxxxx")

Ključne točke

  • Uvijek prati gubitak na validaciji — to je tvoj pravi pokazatelj kvalitete
  • Ako gubitak na validaciji raste, radi se o preprilagodbi: smanji broj epoha
  • Kontrolne točke omogućuju oporavak međustanja
  • Automatiziraj praćenje za zadatke koji dugo traju
  • Dokumentiraj metrike iz svake izvedbe kako bi mogao usporediti svoje iteracije