Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Apmācības uzraudzība

Nodarbība 7 no 16 Atjaunota 2026. gada 2. novembris Augstākais
Šajā lapā
  1. Kāpēc uzraudzīt apmācību
  2. Divas metrikas, kas jālasa
  3. Notikumu izsekošana, izmantojot API
  4. Kontrolpunkti un starprezultāti
  5. Zināšana, kad apstāties
  6. Kopsavilkuma ziņojums par katru piegājienu
  7. Galvenās atziņas

Atjauninājums: 2026. gada 2. novembris — Smalkās noregulēšanas pieejamība. OpenAI pašapkalpošanās smalkā noregulēšana tiek pakāpeniski izslēgta: kopš 2026. gada 7. maija organizācijas, kas to nekad nav izmantojušas, vairs nevar izveidot uzdevumus; kopš 2. jūlija jums ir jābūt izmantojušam smalki noregulētu modeli pēdējo 60 dienu laikā; un sākot ar 2027. gada 6. janvāri, neviens klients nevarēs uzsākt jaunus uzdevumus. Jau apmācīti modeļi paliek lietojami, līdz tiek izslēgts to bāzes modelis. Šis kurss joprojām ir noderīgs, lai saprastu un izmantotu esošu modeli; jauniem projektiem dodiet priekšroku uzvednes inženierijai (prompt engineering), RAG un novērtējumiem.

Kāpēc uzraudzīt apmācību

Uzsākot smalkās noregulēšanas uzdevumu un aizmirstot par to, tu nonāc pie jau fakta: stundu vēlāk atklāj modeli, nezinot, kas noticis starplaikā. Vērojot metrikas apmācības laikā, tu agri atklāj problēmas, vari pielāgot hiperparametrus, pirms iztērējis visu budžetu, un, pats galvenais, saproti, kāpēc viens piegājiens bija veiksmīgāks par citu. Uzraudzība pārvērš mēģinājumu virkni inženierdisciplīnā.

Divas metrikas, kas jālasa

Apmācības zudums (training loss) mēra, cik ļoti modelis kļūdās attiecībā uz apmācības datiem — tieši tiem datiem, ko tas pašlaik apstrādā. Tam vajadzētu samazināties ar katru soli: tas liecina, ka notiek mācīšanās. Ja zudums stagnē vai atkal pieaug, tas norāda uz problēmu, parasti slikti kalibrētu mācīšanās ātrumu vai pārāk neviendabīgu korpusu.

Validācijas zudums mēra veiktspēju datos, ko modelis apmācības laikā nekad nav redzējis — failā, ko atdalīji sadalīšanas procesā. Šī ir uzticamākā metrika, lai novērtētu modeļa faktisko kvalitāti, jo tas ir vienīgais rādītājs, ko modelis nevar uzlabot, vienkārši iemācoties datus atmiņā. Tieši to kopīgā evolūcija sniedz diagnozi.

Apmācības zudums Validācijas zudums Diagnoze
Samazinās Samazinās Viss kārtībā, turpini
Samazinās Pieaug Pārmācīšanās — samazini epochu skaitu
Stagnē Stagnē Nepietiekama apmācība — palielini mācīšanās ātrumu
Svārstās Svārstās Nestabilitāte — samazini mācīšanās ātrumu

Otrā rinda ir tā, kas ražošanā izmaksā visdārgāk: apmācības zudums, kas turpina samazināties, kamēr validācijas zudums pieaug, apraksta modeli, kas iemācījies tavus piemērus no galvas. Uz papīra viss šķiet uzlabojamies; realitātē katrs papildu solis pasliktina tā spēju atbildēt uz jautājumu, ko tas nekad nav redzējis.

Notikumu izsekošana, izmantojot API

API nesūta paziņojumus automātiski: tev regulāri jāaptaujā uzdevums. Zemāk esošais cikls iegūst jaunus notikumus, parāda tos hronoloģiskā secībā, izvairoties no jau redzēto atkārtotas parādīšanas, un atgriež kontroli, tiklīdz uzdevums sasniedz gala stāvokli.

from openai import OpenAI
import time

client = OpenAI()

def monitor_job(job_id: str):
    """Uzrauga uzdevumu reāllaikā."""
    last_event = None

    while True:
        job = client.fine_tuning.jobs.retrieve(job_id)

        # Iegūst jaunus notikumus
        events = client.fine_tuning.jobs.list_events(
            fine_tuning_job_id=job_id,
            limit=50
        )

        for event in reversed(events.data):
            if last_event and event.id == last_event:
                continue
            print(f"[{event.created_at}] {event.message}")

        if events.data:
            last_event = events.data[0].id

        if job.status in ("succeeded", "failed", "cancelled"):
            print(f"\nJob finished: {job.status}")
            if job.status == "succeeded":
                print(f"Model: {job.fine_tuned_model}")
            return job

        time.sleep(30)

# Lietošana
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")

Notikumi nesatur tikai teksta ziņojumus: tie ietver arī zuduma vērtības katrā solī. To izgūšana ļauj uzzīmēt līkni, nevis lasīt žurnāla rindiņas, un tieši līknē tu acumirklī pamanīsi validācijas zuduma pieaugumu.

def extract_metrics(job_id: str) -> dict:
    """Iegūst zuduma metrikas no pabeigta uzdevuma."""
    events = client.fine_tuning.jobs.list_events(
        fine_tuning_job_id=job_id,
        limit=200
    )

    training_losses = []
    validation_losses = []

    for event in events.data:
        data = event.data
        if data and "train_loss" in str(data):
            training_losses.append(data)
        if data and "valid_loss" in str(data):
            validation_losses.append(data)

    return {
        "training": training_losses,
        "validation": validation_losses
    }

Kontrolpunkti un starprezultāti

OpenAI apmācības laikā saglabā kontrolpunktus. Ja uzdevums neizdodas vai tu to atceļ, dažreiz vari atgūt lietojamu starpposma kontrolpunktu — citiem vārdiem sakot, pārtraukts piegājiens ne vienmēr ir zaudēts piegājiens. Tas ir arī vērtīgs risinājums novēlotas pārmācīšanās gadījumā: kontrolpunkts, kas uzņemts pirms validācijas zuduma pieauguma, var būt labāks par gala modeli.

# Uzskaita uzdevuma kontrolpunktus
checkpoints = client.fine_tuning.jobs.checkpoints.list(
    fine_tuning_job_id=job.id
)

for cp in checkpoints.data:
    print(f"Step {cp.step_number}")
    print(f"  Model: {cp.fine_tuned_model_checkpoint}")
    if cp.metrics:
        print(f"  Training loss: {cp.metrics.train_loss:.4f}")
        if hasattr(cp.metrics, "valid_loss"):
            print(f"  Validation loss: {cp.metrics.valid_loss:.4f}")

Zināšana, kad apstāties

Trīs signāli attaisno notiekoša apmācības procesa pārtraukšanu. Pirmais ir validācijas zudums, kas pieaug vairākus soļus pēc kārtas, nevis tikai vienu: atsevišķa vērtība ir troksnis, tendence piecos punktos ir pārmācīšanās. Otrais ir apmācības zudums, kas tuvu nullei, kas nozīmē, ka modelis atkārto tavus piemērus vārdā vārdā un no tiem vairs nav ko mācīties. Trešais ir prozaiskāks: tavi testi neuzlabojas no viena kontrolpunkta uz nākamo, un katrs papildu solis tikai palielina rēķinu.

# Ja konstatē problēmu, atcel uzdevumu
client.fine_tuning.jobs.cancel(job.id)
print("Job cancelled. Adjust your data or hyperparameters and relaunch.")

Kopsavilkuma ziņojums par katru piegājienu

Pabeidz katru apmācības sesiju, izveidojot rīcībspējīgu ierakstu. Tālāk esošā funkcija vienā izvades blokā apkopo uzdevuma ID, bāzes modeli, izmantotās epochas, apmācīto tokenus skaitu un metrikas no pēdējā kontrolpunkta. Ielīmē šos ziņojumus savā izpildes žurnālā: pēc mēneša tie tev pateiks, kāpēc saglabāji šo versiju, nevis citu.

def job_report(job_id: str):
    """Ģenerē kopsavilkuma ziņojumu par uzdevumu."""
    job = client.fine_tuning.jobs.retrieve(job_id)

    print("=" * 50)
    print(f"Job: {job.id}")
    print(f"Base model: {job.model}")
    print(f"Status: {job.status}")
    print(f"Epochs: {job.hyperparameters.n_epochs}")

    if job.status == "succeeded":
        print(f"Fine-tuned model: {job.fine_tuned_model}")
        print(f"Trained tokens: {job.trained_tokens}")

    if job.status == "failed":
        print(f"Error: {job.error}")

    # Kontrolpunkti
    checkpoints = client.fine_tuning.jobs.checkpoints.list(
        fine_tuning_job_id=job_id
    )
    if checkpoints.data:
        latest = checkpoints.data[0]
        print(f"Latest checkpoint: step {latest.step_number}")
        if latest.metrics:
            print(f"  Train loss: {latest.metrics.train_loss:.4f}")

    print("=" * 50)

job_report("ftjob-xxxxxxxxxxxxxxxx")

Galvenās atziņas

  • Vienmēr uzraugi validācijas zudumu — tas ir tavs patiesais kvalitātes rādītājs
  • Ja validācijas zudums pieaug, notiek pārmācīšanās: samazini epochu skaitu
  • Kontrolpunkti ļauj atgūt starpposma stāvokli
  • Automatizē uzraudzību ilgstošiem uzdevumiem
  • Dokumentē katras iterācijas metrikas, lai tās salīdzinātu