Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Mokymų stebėsena

Paskaita 7 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Kodėl reikia stebėti mokymus
  2. Du rodikliai, kuriuos reikia skaityti
  3. Įvykių sekimas per API
  4. Kontroliniai taškai ir tarpiniai rezultatai
  5. Kada sustoti
  6. Santraukos ataskaita kiekvienam paleidimui
  7. Svarbiausi punktai

Atnaujinimas 2026 m. lapkričio 2 d. — Derinimo prieinamumas. „OpenAI“ savitarnos derinimo paslauga yra nutraukiama: nuo 2026 m. gegužės 7 d. organizacijos, kurios ja niekada nesinaudojo, nebegali kurti užduočių; nuo liepos 2 d. turite būti naudoję derintą modelį per pastaruosius 60 dienų; o nuo 2027 m. sausio 6 d. joks klientas nebegalės paleisti naujų užduočių. Jau apmokyti modeliai išlieka naudojami, kol jų bazinis modelis bus nutrauktas. Šis kursas išlieka naudingas norint suprasti ir išnaudoti esamą modelį; naujiems projektams teikite pirmenybę raginimų inžinerijai (prompt engineering), RAG ir vertinimams.

Kodėl reikia stebėti mokymus

Paleidus derinimo užduotį ir ją pamiršus, rezultatas yra faktas, kurio negalima pakeisti: po valandos atrandate modelį nežinodami, kas vyko tarpiniu laikotarpiu. Stebėdami rodiklius mokymų eigai, anksti pastebite problemas, priimate sprendimą pakoreguoti hiperparametrus prieš iššvaistant visą biudžetą ir, svarbiausia, suprantate, kodėl vienas paleidimas buvo sėkmingesnis už kitą. Stebėsena paverčia bandymų seriją inžinerine disciplina.

Du rodikliai, kuriuos reikia skaityti

Mokymų nuostoliai (training loss) matuoja, kiek modelis klysta mokymų duomenyse – būtent tuose duomenyse, kuriuos jis šiuo metu apdoroja. Jie turėtų mažėti žingsnių eigoje: tai rodo, kad vyksta mokymasis. Nuostoliai, kurie sustoja arba vėl pradeda didėti, signalizuoja apie problemą, dažniausiai tai netinkamai sureguliuotas mokymosi greitis arba per daug nevienalytis korpusas.

Validacijos nuostoliai (validation loss) matuoja našumą duomenyse, kurių modelis mokymų metu niekada nematė – failas, kurį atskyrėte skaidymo metu. Tai patikimiausias rodiklis vertinant tikrąją modelio kokybę, nes tai vienintelis rodiklis, kurio modelis negali pagerinti tiesiog įsimindamas duomenis. Būtent jų bendra evoliucija leidžia nustatyti diagnozę.

Mokymų nuostoliai Validacijos nuostoliai Diagnozė
Mažėja Mažėja Viskas gerai, tęskite
Mažėja Didėja Perdidelis pritaikymas (overfitting) – sumažinkite epochas
Sustoja Sustoja Nepakankamas pritaikymas (underfitting) – padidinkite mokymosi greitį
Svyruoja Svyruoja Nestabilumas – sumažinkite mokymosi greitį

Antroji eilutė gamyboje kainuoja brangiausiai: mokymų nuostoliai toliau mažėja, o validacijos nuostoliai vėl didėja – tai apibūdina modelį, kuris jūsų pavyzdžius įsimena mintinai. Popieriuje viskas gerėja; realybėje kiekvienas papildomas žingsnis blogina jo gebėjimą atsakyti į klausimą, kurio jis anksčiau nematė.

Įvykių sekimas per API

API nesiunčia pranešimų automatiškai: turite reguliariai tikrinti užduoties būseną (polling). Toliau pateikta kilpa gauna naujus įvykius, rodo juos chronologine tvarka, vengdama pakartotinai rodyti jau matytus, ir grąžina kontrolę, kai tik užduotis pasiekia galutinę būseną.

from openai import OpenAI
import time

client = OpenAI()

def monitor_job(job_id: str):
    """Stebi užduotį realiuoju laiku."""
    last_event = None

    while True:
        job = client.fine_tuning.jobs.retrieve(job_id)

        # Gauti naujus įvykius
        events = client.fine_tuning.jobs.list_events(
            fine_tuning_job_id=job_id,
            limit=50
        )

        for event in reversed(events.data):
            if last_event and event.id == last_event:
                continue
            print(f"[{event.created_at}] {event.message}")

        if events.data:
            last_event = events.data[0].id

        if job.status in ("succeeded", "failed", "cancelled"):
            print(f"\nUžduotis baigta: {job.status}")
            if job.status == "succeeded":
                print(f"Modelis: {job.fine_tuned_model}")
            return job

        time.sleep(30)

# Naudojimas
job = monitor_job("ftjob-xxxxxxxxxxxxxxxx")

Įvykiai turi ne tik tekstinius pranešimus: jie taip pat perduoda nuostolių reikšmes kiekviename žingsnyje. Išgavus šiuos duomenis, galima nubraižyti kreivę vietoj to, kad skaitytumėte žurnalo eilutes, o būtent kreivėje iškart pastebėsite validacijos nuostolių šuolį.

def extract_metrics(job_id: str) -> dict:
    """Išgauna nuostolių rodiklius iš baigtos užduoties."""
    events = client.fine_tuning.jobs.list_events(
        fine_tuning_job_id=job_id,
        limit=200
    )

    training_losses = []
    validation_losses = []

    for event in events.data:
        data = event.data
        if data and "train_loss" in str(data):
            training_losses.append(data)
        if data and "valid_loss" in str(data):
            validation_losses.append(data)

    return {
        "training": training_losses,
        "validation": validation_losses
    }

Kontroliniai taškai ir tarpiniai rezultatai

„OpenAI“ mokymų metu išsaugo kontrolinius taškus (checkpoints). Jei užduotis nepavyksta arba ją atšaukiate, kartais galite atkurti tinkamą tarpinį kontrolinį tašką – kitaip tariant, nutrauktas paleidimas nebūtinai yra prarastas paleidimas. Tai taip pat yra vertinga išeitis vėlyvojo perdidelio pritaikymo atveju: kontrolinis taškas, padarytas prieš validacijos nuostolių šuolį, gali būti geresnis nei galutinis modelis.

# Išvardyti užduoties kontrolinius taškus
checkpoints = client.fine_tuning.jobs.checkpoints.list(
    fine_tuning_job_id=job.id
)

for cp in checkpoints.data:
    print(f"Žingsnis {cp.step_number}")
    print(f"  Modelis: {cp.fine_tuned_model_checkpoint}")
    if cp.metrics:
        print(f"  Mokymų nuostoliai: {cp.metrics.train_loss:.4f}")
        if hasattr(cp.metrics, "valid_loss"):
            print(f"  Validacijos nuostoliai: {cp.metrics.valid_loss:.4f}")

Kada sustoti

Yra trys signalai, pateisinantys vykdomo mokymų paleidimo nutraukimą. Pirmasis – validacijos nuostoliai, kurie didėja kelis žingsnius iš eilės, o ne tik vieną: pavienė reikšmė yra triukšmas, o penkių taškų tendencija rodo per didelį pritaikymą. Antrasis – mokymų nuostoliai, artimi nuliui, reiškiantys, kad modelis tiksliai atkuria jūsų pavyzdžius ir iš jų daugiau neturi ko mokytis. Trečiasis yra proziškesnis: jūsų testai nuo vieno kontrolinio taško iki kito negerėja, o kiekvienas papildomas žingsnis tik didina sąskaitą.

# Jei aptinkate problemą, atšaukite užduotį
client.fine_tuning.jobs.cancel(job.id)
print("Užduotis atšaukta. Pakoreguokite duomenis arba hiperparametrus ir paleiskite iš naujo.")

Santraukos ataskaita kiekvienam paleidimui

Kiekvieną mokymų sesiją baigkite sudarydami veiksmingą įrašą. Toliau pateikta funkcija vienoje išvestyje surenka užduoties ID, bazinį modelį, naudotas epochas, apmokytų tokenų skaičių ir rodiklius iš paskutinio kontrolinio taško. Įklijuokite šias ataskaitas į savo paleidimų žurnalą: po mėnesio jos jums pasakys, kodėl pasirinkote būtent šią versiją, o ne kitą.

def job_report(job_id: str):
    """Sugeneruoja santraukos ataskaitą užduočiai."""
    job = client.fine_tuning.jobs.retrieve(job_id)

    print("=" * 50)
    print(f"Užduotis: {job.id}")
    print(f"Bazinis modelis: {job.model}")
    print(f"Būsena: {job.status}")
    print(f"Epochos: {job.hyperparameters.n_epochs}")

    if job.status == "succeeded":
        print(f"Derintas modelis: {job.fine_tuned_model}")
        print(f"Apmokyti tokenai: {job.trained_tokens}")

    if job.status == "failed":
        print(f"Klaida: {job.error}")

    # Kontroliniai taškai
    checkpoints = client.fine_tuning.jobs.checkpoints.list(
        fine_tuning_job_id=job_id
    )
    if checkpoints.data:
        latest = checkpoints.data[0]
        print(f"Paskutinis kontrolinis taškas: žingsnis {latest.step_number}")
        if latest.metrics:
            print(f"  Mokymų nuostoliai: {latest.metrics.train_loss:.4f}")

    print("=" * 50)

job_report("ftjob-xxxxxxxxxxxxxxxx")

Svarbiausi punktai

  • Visada stebėkite validacijos nuostolius – tai tikrasis kokybės rodiklis
  • Jei validacijos nuostoliai didėja, vyksta perdidelis pritaikymas: sumažinkite epochas
  • Kontroliniai taškai leidžia atkurti tarpinę būseną
  • Automatizuokite stebėseną ilgai trunkančioms užduotims
  • Dokumentuokite kiekvieno paleidimo rodiklius, kad galėtumėte palyginti iteracijas