Sledování tréninku
Na této stránce
Aktualizace 2. listopadu 2026 — Dostupnost jemného ladění. Služba pro vlastní jemné ladění od OpenAI je postupně ukončována: od 7. května 2026 nemohou organizace, které ji nikdy nepoužily, vytvářet nové úlohy; od 2. července musíte mít model po jemném ladění použitý během posledních 60 dnů; a počínaje 6. lednem 2027 nebude žádný zákazník schopen spustit nové úlohy. Již natrénované modely zůstávají použitelné až do vyřazení jejich základního modelu. Tento kurz je stále užitečný pro pochopení a využití existujícího modelu; u nových projektů dejte přednost inženýrství promptů, RAG a evaluacím.
Proč sledovat trénink
Pokud spustíš úlohu jemného ladění a zapomeneš na ni, skončíš s hotovou věcí: o hodinu později zjistíš, že máš model, ale netušíš, co se dělo mezitím. Sledováním metrik během běhu tréninku zachytíš problémy včas, rozhodneš se upravit hyperparametry před vyčerpáním celého rozpočtu a především pochopíš, proč jeden běh dopadl lépe než druhý. Sledování promění sérii pokusů v inženýrskou disciplínu.
Dvě klíčové metriky ke čtení
Tréninková ztráta (Training loss) měří, jak moc se model mýlí na tréninkových datech – tedy na datech, která právě zpracovává. Měla by klesat s každým krokem: to je známka, že se model učí. Pokud ztráta stagnuje nebo opět roste, signalizuje to problém, obvykle špatně nastavenou míru učení nebo příliš heterogenní korpus.
Validační ztráta (Validation loss) měří výkon na datech, která model během tréninku nikdy neviděl – soubor, který jsi oddělil při rozdělení dat. Toto je nejspolehlivější metrika pro hodnocení skutečné kvality modelu, protože je to jediná metrika, kterou si model nemůže vylepšit memorováním. Právě jejich společný vývoj poskytuje diagnózu.
| Tréninková ztráta | Validační ztráta | Diagnóza |
|---|---|---|
| Klesající | Klesající | Vše v pořádku, pokračuj |
| Klesající | Rostoucí | Přeučení (overfitting) — sniž počet epoch |
| Stagnující | Stagnující | Nedostatečné učení (underfitting) — zvyš míru učení |
| Oscilující | Oscilující | Nestabilita — sniž míru učení |
Druhý řádek je ten, který stojí v produkci nejvíce: tréninková ztráta, která neustále klesá, zatímco validační ztráta opět roste, popisuje model, který si tvé příklady pamatuje nazpaměť. Na papíře se vše zdá být lepší; ve skutečnosti každý další krok zhoršuje jeho schopnost odpovědět na otázku, kterou nikdy neviděl.
Sledování událostí přes API
API neposílá oznámení automaticky: musíš úlohu pravidelně dotazovat (polling). Níže uvedená smyčka načítá nové události, zobrazuje je v chronologickém pořadí, přičemž se vyhýbá opětovnému zobrazení těch, které již byly viděny, a vrátí řízení, jakmile úloha dosáhne koncového stavu.
from openai import OpenAI
import time
client = OpenAI()
def monitor_job(job_id: str):
"""Monitors a job in real time."""
last_event = None
while True:
job = client.fine_tuning.jobs.retrieve(job_id)
# Fetch new events
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=50
)
for event in reversed(events.data):
if last_event and event.id == last_event:
continue
print(f"[{event.created_at}] {event.message}")
if events.data:
last_event = events.data[0].id
if job.status in ("succeeded", "failed", "cancelled"):
print(f"\nJob finished: {job.status}")
if job.status == "succeeded":
print(f"Model: {job.fine_tuned_model}")
return job
time.sleep(30)
# Usage
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")
Události neobsahují pouze textové zprávy: nesou také hodnoty ztráty pro každý krok. Jejich extrakce ti umožní vykreslit křivku místo čtení řádků logu a právě na křivce na první pohled rozpoznáš náhlý nárůst validační ztráty.
def extract_metrics(job_id: str) -> dict:
"""Extracts loss metrics from a completed job."""
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=200
)
training_losses = []
validation_losses = []
for event in events.data:
data = event.data
if data and "train_loss" in str(data):
training_losses.append(data)
if data and "valid_loss" in str(data):
validation_losses.append(data)
return {
"training": training_losses,
"validation": validation_losses
}
Kontrolní body a průběžné výsledky
OpenAI ukládá během tréninku kontrolní body (checkpoints). Pokud úloha selže nebo ji zrušíš, můžeš někdy obnovit použitelný průběžný kontrolní bod – přerušený běh tedy nemusí znamenat ztracený běh. Je to také cenná záchrana v případě pozdního přeučení: kontrolní bod pořízený před nárůstem validační ztráty může být lepší než finální model.
# List checkpoints for a job
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job.id
)
for cp in checkpoints.data:
print(f"Step {cp.step_number}")
print(f" Model: {cp.fine_tuned_model_checkpoint}")
if cp.metrics:
print(f" Training loss: {cp.metrics.train_loss:.4f}")
if hasattr(cp.metrics, "valid_loss"):
print(f" Validation loss: {cp.metrics.valid_loss:.4f}")
Kdy zastavit trénink
Tři signály ospravedlňují přerušení běžícího tréninku. Prvním je validační ztráta, která roste několik kroků po sobě, nejen jeden: izolovaná hodnota je šum, trend přes pět bodů znamená přeučení. Druhým je tréninková ztráta blízká nule, což znamená, že model doslovně reprodukuje tvé příklady a nemá se od nich co dalšího učit. Třetí je prozaičtější: tvé testy se od jednoho kontrolního bodu k druhému nezlepšují a každý další krok jen zvyšuje účet.
# If you detect a problem, cancel the job
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")
Souhrnná zpráva pro každý běh
Každou tréninkovou relaci ukonči vytvořením akčního záznamu. Následující funkce shromáždí do jednoho výstupu ID úlohy, základní model, použité epochy, počet natrénovaných tokenů a metriky z posledního kontrolního bodu. Vlož tyto zprávy do svého logu běhů: za měsíc ti řeknou, proč jsi zachoval tuto verzi a ne jinou.
def job_report(job_id: str):
"""Generates a summary report for the job."""
job = client.fine_tuning.jobs.retrieve(job_id)
print("=" * 50)
print(f"Job: {job.id}")
print(f"Base model: {job.model}")
print(f"Status: {job.status}")
print(f"Epochs: {job.hyperparameters.n_epochs}")
if job.status == "succeeded":
print(f"Fine-tuned model: {job.fine_tuned_model}")
print(f"Trained tokens: {job.trained_tokens}")
if job.status == "failed":
print(f"Error: {job.error}")
# Checkpoints
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job_id
)
if checkpoints.data:
latest = checkpoints.data[0]
print(f"Latest checkpoint: step {latest.step_number}")
if latest.metrics:
print(f" Train loss: {latest.metrics.train_loss:.4f}")
print("=" * 50)
job_report("ftjob-xxxxxxxxxxxxxxxx")
Klíčové poznatky
- Vždy sleduj validační ztrátu – je to tvůj skutečný ukazatel kvality
- Pokud validační ztráta roste, dochází k přeučení: sniž počet epoch
- Kontrolní body ti umožní obnovit průběžný stav
- Automatizuj sledování u dlouho běžících úloh
- Dokumentuj metriky z každého běhu, abys mohl porovnat své iterace