Мониторинг на обучението
На тази страница
Актуализация от 2 ноември 2026 г. — Наличност на фина настройка. Услугата за самостоятелна фина настройка на OpenAI се прекратява постепенно: от 7 май 2026 г. организации, които никога не са я използвали, вече не могат да създават задачи; от 2 юли трябва да сте използвали финализиран модел през последните 60 дни; а считано от 6 януари 2027 г. никой клиент няма да може да стартира нови задачи. Вече обучените модели остават използваеми до оттеглянето на базовия им модел. Този курс остава полезен за разбиране и използване на съществуващ модел; за нови проекти дайте приоритет на инженерството на подкани (prompt engineering), RAG и оценяването.
Защо да следите обучението
Стартирането на задача за фина настройка и забравянето ѝ Ви оставя с готов факт: час по-късно откривате модел, без да знаете какво се е случило междувременно. Чрез наблюдение на метриките докато обучението тече, откривате проблеми рано, вземате решение да коригирате хиперпараметрите, преди да изгорите целия си бюджет, и най-вече разбирате защо едно изпълнение се е представило по-добре от друго. Мониторингът превръща поредица от опити в инженерна дисциплина.
Двете метрики за четене
Загуба при обучение (Training loss) измерва колко грешен е моделът спрямо данните за обучение – точно данните, които той поглъща в момента. Тя трябва да намалява с всяка стъпка: това е знак, че се случва учене. Загуба, която застине или започне да расте отново, показва проблем, обикновено лошо калибрирана скорост на учене или твърде хетерогенен корпус.
Валидационна загуба (Validation loss) измерва ефективността върху данни, които моделът никога не е виждал по време на обучението – файлът, който сте заделили при разделянето. Това е най-надеждната метрика за оценка на реалното качество на Вашия модел, защото е единствената, която моделът не може да подобри чрез запомняне. Тяхната съвместна еволюция предоставя диагнозата.
| Загуба при обучение | Валидационна загуба | Диагноза |
|---|---|---|
| Намаляваща | Намаляваща | Всичко е наред, продължете |
| Намаляваща | Нарастваща | Свръхобучение (overfitting) – намалете епохите |
| Заставаща | Заставаща | Недообучение (underfitting) – увеличете скоростта на учене |
| Осцилираща | Осцилираща | Нестабилност – намалете скоростта на учене |
Вторият ред е този, който струва най-скъпо в продукцията: загуба при обучение, която продължава да намалява, докато валидационната загуба се покачва отново, описва модел, който запомня Вашите примери наизуст. На хартия всичко изглежда се подобрява; в действителност всяка допълнителна стъпка влошава способността му да отговори на въпрос, който никога не е виждал.
Проследяване на събития чрез API
API не изпраща известия: трябва периодично да запитвате (poll) задачата. Цикълът по-долу извлича нови събития, показва ги в хронологичен ред, като избягва повторното показване на вече видените, и връща контрола веднага щом задачата достигне крайно състояние.
from openai import OpenAI
import time
client = OpenAI()
def monitor_job(job_id: str):
"""Monitors a job in real time."""
last_event = None
while True:
job = client.fine_tuning.jobs.retrieve(job_id)
# Fetch new events
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=50
)
for event in reversed(events.data):
if last_event and event.id == last_event:
continue
print(f"[{event.created_at}] {event.message}")
if events.data:
last_event = events.data[0].id
if job.status in ("succeeded", "failed", "cancelled"):
print(f"\nJob finished: {job.status}")
if job.status == "succeeded":
print(f"Model: {job.fine_tuned_model}")
return job
time.sleep(30)
# Usage
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")
Събитията не съдържат само текстови съобщения: те носят и стойности на загубата за всяка стъпка. Извличането им Ви позволява да начертаете крива, вместо да четете редове от логове, и именно на кривата откривате скок във валидационната загуба с един поглед.
def extract_metrics(job_id: str) -> dict:
"""Extracts loss metrics from a completed job."""
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=200
)
training_losses = []
validation_losses = []
for event in events.data:
data = event.data
if data and "train_loss" in str(data):
training_losses.append(data)
if data and "valid_loss" in str(data):
validation_losses.append(data)
return {
"training": training_losses,
"validation": validation_losses
}
Контролни точки и междинни резултати
OpenAI запазва контролни точки (checkpoints) по време на обучението. Ако задачата се провали или я отмените, понякога можете да възстановите използваема междинна контролна точка – с други думи, прекъснато изпълнение не е непременно загубено изпълнение. Това е и ценен изход в случай на късно свръхобучение: контролната точка, направена преди скока във валидационната загуба, може да е по-добра от крайния модел.
# List checkpoints for a job
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job.id
)
for cp in checkpoints.data:
print(f"Step {cp.step_number}")
print(f" Model: {cp.fine_tuned_model_checkpoint}")
if cp.metrics:
print(f" Training loss: {cp.metrics.train_loss:.4f}")
if hasattr(cp.metrics, "valid_loss"):
print(f" Validation loss: {cp.metrics.valid_loss:.4f}")
Кога да спрете
Три сигнала оправдават прекъсването на текущо обучение. Първият е валидационна загуба, която нараства от няколко стъпки насам, а не само от една: изолирана стойност е шум, тенденция от пет точки е свръхобучение. Вторият е загуба при обучение, близка до нула, което означава, че моделът възпроизвежда Вашите примери дословно и няма какво повече да научи от тях. Третият е по-прозаичен: тестовете Ви не се подобряват от една контролна точка до следващата и всяка допълнителна стъпка просто увеличава сметката.
# If you detect a problem, cancel the job
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")
Обобщен отчет за всяко изпълнение
Завършвайте всяка сесия на обучение, като създавате действащ запис. Следната функция събира в един изход идентификатора на задачата, базовия модел, използваните епохи, броя на обучените токени и метриките от последната контролна точка. Поставете тези отчети във Вашия дневник на изпълненията: след месец те ще Ви кажат защо сте запазили тази версия, а не друга.
def job_report(job_id: str):
"""Generates a summary report for the job."""
job = client.fine_tuning.jobs.retrieve(job_id)
print("=" * 50)
print(f"Job: {job.id}")
print(f"Base model: {job.model}")
print(f"Status: {job.status}")
print(f"Epochs: {job.hyperparameters.n_epochs}")
if job.status == "succeeded":
print(f"Fine-tuned model: {job.fine_tuned_model}")
print(f"Trained tokens: {job.trained_tokens}")
if job.status == "failed":
print(f"Error: {job.error}")
# Checkpoints
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job_id
)
if checkpoints.data:
latest = checkpoints.data[0]
print(f"Latest checkpoint: step {latest.step_number}")
if latest.metrics:
print(f" Train loss: {latest.metrics.train_loss:.4f}")
print("=" * 50)
job_report("ftjob-xxxxxxxxxxxxxxxx")
Ключови изводи
- Винаги следете валидационната загуба – това е Вашият истински индикатор за качество
- Ако валидационната загуба нараства, имате свръхобучение: намалете епохите
- Контролните точки Ви позволяват да възстановите междинно състояние
- Автоматизирайте мониторинга за дълготрайни задачи
- Документирайте метриките от всяко изпълнение, за да сравнявате Вашите итерации