Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Monitorovanie trénovania

Lekcia 7 z 16 Aktualizované 2. novembra 2026 Pokročilý
Na tejto strane
  1. Prečo monitorovať trénovanie
  2. Dve kľúčové metriky na sledovanie
  3. Sledovanie udalostí cez API
  4. Kontrolné body a priebežné výsledky
  5. Vedieť, kedy prestať
  6. Súhrnná správa pre každý beh
  7. Kľúčové poznatky

Aktualizácia 2. novembra 2026 — Dostupnosť jemného doladenia. Služba vlastného jemného doladenia od OpenAI sa postupne ukončuje: od 7. mája 2026 organizácie, ktoré ju nikdy nepoužili, už nemôžu vytvárať nové úlohy; od 2. júla musíte mať použitý jemne doladený model za posledných 60 dní; a od 6. januára 2027 žiadny zákazník nebude môcť spustiť nové úlohy. Už natrénované modely zostávajú použiteľné až do vyradenia ich základného modelu. Tento kurz zostáva užitočný na pochopenie a využitie existujúceho modelu; pri nových projektoch uprednostnite inžinierstvo promptov, RAG a evaluácie.

Prečo monitorovať trénovanie

Spustenie úlohy jemného doladenia a jej následné ignorovanie z vás urobí rukojemníka hotovej veci: o hodinu neskôr objavíte model bez toho, aby ste vedeli, čo sa dialo medzitým. Sledovaním metrík počas behu trénovania zachytíte problémy včas, rozhodnete sa upraviť hyperparametre pred tým, ako miniete celý rozpočet, a hlavne pochopíte, prečo jeden beh dopadol lepšie ako druhý. Monitorovanie mení sériu pokusov na inžiniersku disciplínu.

Dve kľúčové metriky na sledovanie

Trénovacia strata (Training loss) meria, ako veľmi sa model mýli na trénovacích dátach – teda na dátach, ktoré práve spracováva. Mala by klesať s každým krokom: to je znak, že sa učenie deje. Strata, ktorá sa zastaví alebo začne znovu stúpať, signalizuje problém, zvyčajne zle nastavenú mieru učenia alebo príliš heterogénny korpus.

Validačná strata (Validation loss) meria výkon na dátach, ktoré model počas trénovania nikdy nevidel – súbore, ktorý ste si odložili pri rozdelení dát. Toto je najspoľahlivejšia metrika na hodnotenie skutočnej kvality vášho modelu, pretože je to jediná metrika, ktorú model nemôže vylepšiť memorovaním. Práve ich spoločný vývoj poskytuje diagnózu.

Trénovacia strata Validačná strata Diagnóza
Klesá Klesá Všetko v poriadku, pokračujte
Klesá Stúpa Pretrénovanie – znížte počet epoch
Stagnuje Stagnuje Nedotrénovanie – zvýšte mieru učenia
Osciluje Osciluje Nestabilita – znížte mieru učenia

Druhý riadok je ten, ktorý vo výrobe najviac stojí: trénovacia strata, ktorá neustále klesá, zatiaľ čo validačná strata stúpa, opisuje model, ktorý si vaše príklady memoruje naspamäť. Na papieri sa všetko zdá byť lepšie; v skutočnosti každý ďalší krok zhoršuje jeho schopnosť odpovedať na otázku, ktorú nikdy nevidel.

Sledovanie udalostí cez API

API neposiela upozornenia: musíte pravidelne zisťovať stav úlohy (polling). Nasledujúca slučka získava nové udalosti, zobrazuje ich v chronologickom poradí, pričom sa vyhýba opätovnému zobrazovaniu tých, ktoré ste už videli, a vráti kontrolu hneď, ako úloha dosiahne koncový stav.

from openai import OpenAI
import time

client = OpenAI()

def monitor_job(job_id: str):
    """Monitors a job in real time."""
    last_event = None

    while True:
        job = client.fine_tuning.jobs.retrieve(job_id)

        # Fetch new events
        events = client.fine_tuning.jobs.list_events(
            fine_tuning_job_id=job_id,
            limit=50
        )

        for event in reversed(events.data):
            if last_event and event.id == last_event:
                continue
            print(f"[{event.created_at}] {event.message}")

        if events.data:
            last_event = events.data[0].id

        if job.status in ("succeeded", "failed", "cancelled"):
            print(f"\nJob finished: {job.status}")
            if job.status == "succeeded":
                print(f"Model: {job.fine_tuned_model}")
            return job

        time.sleep(30)

# Usage
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")

Udalosti neobsahujú len textové správy: nesú aj hodnoty straty v každom kroku. Ich extrakcia vám umožní vykresliť krivku namiesto čítania logovacích riadkov a práve na krivke na prvý pohľad spozorujete nárast validačnej straty.

def extract_metrics(job_id: str) -> dict:
    """Extracts loss metrics from a completed job."""
    events = client.fine_tuning.jobs.list_events(
        fine_tuning_job_id=job_id,
        limit=200
    )

    training_losses = []
    validation_losses = []

    for event in events.data:
        data = event.data
        if data and "train_loss" in str(data):
            training_losses.append(data)
        if data and "valid_loss" in str(data):
            validation_losses.append(data)

    return {
        "training": training_losses,
        "validation": validation_losses
    }

Kontrolné body a priebežné výsledky

OpenAI počas trénovania ukladá kontrolné body (checkpoints). Ak úloha zlyhá alebo ju zrušíte, niekedy môžete obnoviteľ použiteľný priebežný kontrolný bod – inými slovami, prerušený beh nemusí byť nutne stratený beh. Toto je tiež cenná možnosť v prípade neskorého pretrénovania: kontrolný bod urobený pred nárastom validačnej straty môže byť lepší ako finálny model.

# List checkpoints for a job
checkpoints = client.fine_tuning.jobs.checkpoints.list(
    fine_tuning_job_id=job.id
)

for cp in checkpoints.data:
    print(f"Step {cp.step_number}")
    print(f"  Model: {cp.fine_tuned_model_checkpoint}")
    if cp.metrics:
        print(f"  Training loss: {cp.metrics.train_loss:.4f}")
        if hasattr(cp.metrics, "valid_loss"):
            print(f"  Validation loss: {cp.metrics.valid_loss:.4f}")

Vedieť, kedy prestať

Tri signály ospravedlňujú prerušenie prebiehajúceho trénovania. Prvým je validačná strata, ktorá stúpa niekoľko krokov po sebe, nielen jeden: izolovaná hodnota je šum, trend počas piatich bodov je pretrénovanie. Druhým je trénovacia strata blízka nule, čo znamená, že model doslovne reprodukuje vaše príklady a nemá sa už od nich čo učiť. Tretí je prozaickejší: vaše testy sa od jedného kontrolného bodu k druhému nezlepšujú a každý ďalší krok len zvyšuje účet.

# If you detect a problem, cancel the job
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")

Súhrnná správa pre každý beh

Ukončite každú trénovaciu reláciu vytvorením akčného záznamu. Nasledujúca funkcia zhromaždí do jedného výstupu ID úlohy, základný model, použité epochy, počet natrénovaných tokenov a metriky z posledného kontrolného bodu. Vložte tieto správy do svojho logu behov: o mesiac vám povedia, prečo ste si ponechali túto verziu a nie inú.

def job_report(job_id: str):
    """Generates a summary report for the job."""
    job = client.fine_tuning.jobs.retrieve(job_id)

    print("=" * 50)
    print(f"Job: {job.id}")
    print(f"Base model: {job.model}")
    print(f"Status: {job.status}")
    print(f"Epochs: {job.hyperparameters.n_epochs}")

    if job.status == "succeeded":
        print(f"Fine-tuned model: {job.fine_tuned_model}")
        print(f"Trained tokens: {job.trained_tokens}")

    if job.status == "failed":
        print(f"Error: {job.error}")

    # Checkpoints
    checkpoints = client.fine_tuning.jobs.checkpoints.list(
        fine_tuning_job_id=job_id
    )
    if checkpoints.data:
        latest = checkpoints.data[0]
        print(f"Latest checkpoint: step {latest.step_number}")
        if latest.metrics:
            print(f"  Train loss: {latest.metrics.train_loss:.4f}")

    print("=" * 50)

job_report("ftjob-xxxxxxxxxxxxxxxx")

Kľúčové poznatky

  • Vždy sledujte validačnú stratu – je to váš skutočný ukazovateľ kvality
  • Ak validačná strata stúpa, dochádza k pretrénovaniu: znížte počet epoch
  • Kontrolné body vám umožnia obnoviť priebežný stav
  • Automatizujte monitorovanie pri dlho bežiacich úlohách
  • Dokumentujte metriky z každého behu, aby ste mohli porovnávať svoje iterácie