Apmācības uzraudzība
Šajā lapā
Atjauninājums: 2026. gada 2. novembris — Smalkās noregulēšanas pieejamība. OpenAI pašapkalpošanās smalkā noregulēšana tiek pakāpeniski izslēgta: kopš 2026. gada 7. maija organizācijas, kas to nekad nav izmantojušas, vairs nevar izveidot uzdevumus; kopš 2. jūlija jums ir jābūt izmantojušam smalki noregulētu modeli pēdējo 60 dienu laikā; un sākot ar 2027. gada 6. janvāri, neviens klients nevarēs uzsākt jaunus uzdevumus. Jau apmācīti modeļi paliek lietojami, līdz tiek izslēgts to bāzes modelis. Šis kurss joprojām ir noderīgs, lai saprastu un izmantotu esošu modeli; jauniem projektiem dodiet priekšroku uzvednes inženierijai (prompt engineering), RAG un novērtējumiem.
Kāpēc uzraudzīt apmācību
Uzsākot smalkās noregulēšanas uzdevumu un aizmirstot par to, tu nonāc pie jau fakta: stundu vēlāk atklāj modeli, nezinot, kas noticis starplaikā. Vērojot metrikas apmācības laikā, tu agri atklāj problēmas, vari pielāgot hiperparametrus, pirms iztērējis visu budžetu, un, pats galvenais, saproti, kāpēc viens piegājiens bija veiksmīgāks par citu. Uzraudzība pārvērš mēģinājumu virkni inženierdisciplīnā.
Divas metrikas, kas jālasa
Apmācības zudums (training loss) mēra, cik ļoti modelis kļūdās attiecībā uz apmācības datiem — tieši tiem datiem, ko tas pašlaik apstrādā. Tam vajadzētu samazināties ar katru soli: tas liecina, ka notiek mācīšanās. Ja zudums stagnē vai atkal pieaug, tas norāda uz problēmu, parasti slikti kalibrētu mācīšanās ātrumu vai pārāk neviendabīgu korpusu.
Validācijas zudums mēra veiktspēju datos, ko modelis apmācības laikā nekad nav redzējis — failā, ko atdalīji sadalīšanas procesā. Šī ir uzticamākā metrika, lai novērtētu modeļa faktisko kvalitāti, jo tas ir vienīgais rādītājs, ko modelis nevar uzlabot, vienkārši iemācoties datus atmiņā. Tieši to kopīgā evolūcija sniedz diagnozi.
| Apmācības zudums | Validācijas zudums | Diagnoze |
|---|---|---|
| Samazinās | Samazinās | Viss kārtībā, turpini |
| Samazinās | Pieaug | Pārmācīšanās — samazini epochu skaitu |
| Stagnē | Stagnē | Nepietiekama apmācība — palielini mācīšanās ātrumu |
| Svārstās | Svārstās | Nestabilitāte — samazini mācīšanās ātrumu |
Otrā rinda ir tā, kas ražošanā izmaksā visdārgāk: apmācības zudums, kas turpina samazināties, kamēr validācijas zudums pieaug, apraksta modeli, kas iemācījies tavus piemērus no galvas. Uz papīra viss šķiet uzlabojamies; realitātē katrs papildu solis pasliktina tā spēju atbildēt uz jautājumu, ko tas nekad nav redzējis.
Notikumu izsekošana, izmantojot API
API nesūta paziņojumus automātiski: tev regulāri jāaptaujā uzdevums. Zemāk esošais cikls iegūst jaunus notikumus, parāda tos hronoloģiskā secībā, izvairoties no jau redzēto atkārtotas parādīšanas, un atgriež kontroli, tiklīdz uzdevums sasniedz gala stāvokli.
from openai import OpenAI
import time
client = OpenAI()
def monitor_job(job_id: str):
"""Uzrauga uzdevumu reāllaikā."""
last_event = None
while True:
job = client.fine_tuning.jobs.retrieve(job_id)
# Iegūst jaunus notikumus
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=50
)
for event in reversed(events.data):
if last_event and event.id == last_event:
continue
print(f"[{event.created_at}] {event.message}")
if events.data:
last_event = events.data[0].id
if job.status in ("succeeded", "failed", "cancelled"):
print(f"\nJob finished: {job.status}")
if job.status == "succeeded":
print(f"Model: {job.fine_tuned_model}")
return job
time.sleep(30)
# Lietošana
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")
Notikumi nesatur tikai teksta ziņojumus: tie ietver arī zuduma vērtības katrā solī. To izgūšana ļauj uzzīmēt līkni, nevis lasīt žurnāla rindiņas, un tieši līknē tu acumirklī pamanīsi validācijas zuduma pieaugumu.
def extract_metrics(job_id: str) -> dict:
"""Iegūst zuduma metrikas no pabeigta uzdevuma."""
events = client.fine_tuning.jobs.list_events(
fine_tuning_job_id=job_id,
limit=200
)
training_losses = []
validation_losses = []
for event in events.data:
data = event.data
if data and "train_loss" in str(data):
training_losses.append(data)
if data and "valid_loss" in str(data):
validation_losses.append(data)
return {
"training": training_losses,
"validation": validation_losses
}
Kontrolpunkti un starprezultāti
OpenAI apmācības laikā saglabā kontrolpunktus. Ja uzdevums neizdodas vai tu to atceļ, dažreiz vari atgūt lietojamu starpposma kontrolpunktu — citiem vārdiem sakot, pārtraukts piegājiens ne vienmēr ir zaudēts piegājiens. Tas ir arī vērtīgs risinājums novēlotas pārmācīšanās gadījumā: kontrolpunkts, kas uzņemts pirms validācijas zuduma pieauguma, var būt labāks par gala modeli.
# Uzskaita uzdevuma kontrolpunktus
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job.id
)
for cp in checkpoints.data:
print(f"Step {cp.step_number}")
print(f" Model: {cp.fine_tuned_model_checkpoint}")
if cp.metrics:
print(f" Training loss: {cp.metrics.train_loss:.4f}")
if hasattr(cp.metrics, "valid_loss"):
print(f" Validation loss: {cp.metrics.valid_loss:.4f}")
Zināšana, kad apstāties
Trīs signāli attaisno notiekoša apmācības procesa pārtraukšanu. Pirmais ir validācijas zudums, kas pieaug vairākus soļus pēc kārtas, nevis tikai vienu: atsevišķa vērtība ir troksnis, tendence piecos punktos ir pārmācīšanās. Otrais ir apmācības zudums, kas tuvu nullei, kas nozīmē, ka modelis atkārto tavus piemērus vārdā vārdā un no tiem vairs nav ko mācīties. Trešais ir prozaiskāks: tavi testi neuzlabojas no viena kontrolpunkta uz nākamo, un katrs papildu solis tikai palielina rēķinu.
# Ja konstatē problēmu, atcel uzdevumu
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")
Kopsavilkuma ziņojums par katru piegājienu
Pabeidz katru apmācības sesiju, izveidojot rīcībspējīgu ierakstu. Tālāk esošā funkcija vienā izvades blokā apkopo uzdevuma ID, bāzes modeli, izmantotās epochas, apmācīto tokenus skaitu un metrikas no pēdējā kontrolpunkta. Ielīmē šos ziņojumus savā izpildes žurnālā: pēc mēneša tie tev pateiks, kāpēc saglabāji šo versiju, nevis citu.
def job_report(job_id: str):
"""Ģenerē kopsavilkuma ziņojumu par uzdevumu."""
job = client.fine_tuning.jobs.retrieve(job_id)
print("=" * 50)
print(f"Job: {job.id}")
print(f"Base model: {job.model}")
print(f"Status: {job.status}")
print(f"Epochs: {job.hyperparameters.n_epochs}")
if job.status == "succeeded":
print(f"Fine-tuned model: {job.fine_tuned_model}")
print(f"Trained tokens: {job.trained_tokens}")
if job.status == "failed":
print(f"Error: {job.error}")
# Kontrolpunkti
checkpoints = client.fine_tuning.jobs.checkpoints.list(
fine_tuning_job_id=job_id
)
if checkpoints.data:
latest = checkpoints.data[0]
print(f"Latest checkpoint: step {latest.step_number}")
if latest.metrics:
print(f" Train loss: {latest.metrics.train_loss:.4f}")
print("=" * 50)
job_report("ftjob-xxxxxxxxxxxxxxxx")
Galvenās atziņas
- Vienmēr uzraugi validācijas zudumu — tas ir tavs patiesais kvalitātes rādītājs
- Ja validācijas zudums pieaug, notiek pārmācīšanās: samazini epochu skaitu
- Kontrolpunkti ļauj atgūt starpposma stāvokli
- Automatizē uzraudzību ilgstošiem uzdevumiem
- Dokumentē katras iterācijas metrikas, lai tās salīdzinātu