Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Hiperparametrai: epoch'ai, mokymosi greitis, grupės dydis

Paskaita 6 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Hiperparametrų vaidmuo
  2. Epoch’ų skaičius
  3. Mokymosi greičio daugiklis
  4. Grupės dydis (Batch size)
  5. Optimizavimo metodas
  6. Reikšmė „auto“
  7. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. — Derinimo prieinamumas. „OpenAI“ savitarnos derinimo paslauga yra nutraukiama: nuo 2026 m. gegužės 7 d. organizacijos, kurios niekada nevykdė derinimo užduoties, jos sukurti nebegali; nuo liepos 2 d. turite būti naudoję derintą modelį per pastaruosius 60 dienų; o nuo 2027 m. sausio 6 d. joks klientas negalės paleisti naujų užduočių. Jau apmokyti modeliai išlieka naudojami, kol jų bazinis modelis bus pašalintas. Šis kursas naudingas norint suprasti ir išnaudoti esamą modelį; naujiems projektams teikite pirmenybę raginimų inžinerijai (prompt engineering), RAG ir vertinimams.

Hiperparametrų vaidmuo

Tavo duomenys nusako, ką modelis turi išmokti; hiperparametrai nusako, kaip jis tai daro. Pagal nutylėjimą „OpenAI“ automatiškai parenka tinkamas reikšmes pagal tavo duomenų rinkinio dydį, ir pirmajai užduočiai tai yra teisingas sprendimas. Tačiau jei modelis veikia prastai nepaisant švaraus korpuso, skirtumas beveik visada slypi šiuose nustatymuose, o jų rankinis koregavimas gali žymiai pagerinti rezultatus.

Epoch’ų skaičius

Epoch’as – tai vienas pilnas perėjimas per visą tavo mokymo duomenų rinkinį. Kuo daugiau epoch’ų paleidi, tuo dažniau modelis mato kiekvieną pavyzdį ir tuo daugiau detalių jis įsimena. Per mažai epoch’ų – ir modelis neišmoko pakankamai: tai yra nepakankamas mokymasis (underfitting), o tavo atsakymai vis dar atrodo kaip bazinio modelio. Per daug epoch’ų – ir jis įsimena pavyzdžius vietoj to, kad apibendrintų: tai yra permokymas (overfitting), ir modelis kartais tavo šimtą mokymo atsakymų vos tik klausimas nors kiek primena vieną iš jų, tačiau sugriūva susidūręs su nematyta formuluote.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

Tinkamas nustatymas tiesiogiai priklauso nuo tavo duomenų apimties: kuo mažiau pavyzdžių turi, tuo daugiau kartų turi juos peržiūrėti, kad signalas įsitvirtintų.

Duomenų rinkinio dydis Rekomenduojami epoch'ai Priežastis
50–100 pavyzdžių 4–8 Mažai duomenų, reikia daugiau perėjimų
100–500 pavyzdžių 2–4 Geras mokymosi ir apibendrinimo balansas
500+ pavyzdžių 1–2 Pakankamai duomenų, permokymo rizika

Mokymosi greičio daugiklis

Mokymosi greitis valdo modelio svorių koregavimų dydį kiekviename mokymo žingsnyje. Nustatytas per aukštai – modelis koreguoja per agresyviai kiekviename žingsnyje, svyruoja aplink teisingą atsakymą ir nesugeba konverguoti; nustatytas per žemai – jis mokosi labai lėtai arba iš viso nemokosi, todėl mokymo pabaigoje gauni modelį, beveik identišką pradiniam.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Numatytąją reikšmę „OpenAI“ apskaičiuoja automatiškai pagal tavo duomenų rinkinio dydį. Praktiškai 1,0–2,0 diapazonas atitinka šį numatytąjį elgesį ir tinka daugeliui atvejų. Sumažinus iki 0,5–1,0 mokymasis tampa atsargesnis, kas padeda dirbant su mažais duomenų rinkiniais, kur keli netipiški pavyzdžiai gali pernelyg nukreipti modelį nuo kurso. Viršijus 2,0 gaunamas agresyvus mokymasis, skirtas situacijoms, kai pastebėjai, jog modelis nejuda pakankamai – ir tai reikia nedelsiant patikrinti lyginant su validacijos nuostoliais.

Grupės dydis (Batch size)

Grupės dydis nustato, kiek pavyzdžių apdorojama kartu prieš atnaujinant modelio svorius. Maža grupė sukuria dažnus atnaujinimus: mokymasis yra triukšmingesnis, kiekvienas pavyzdys daro didelę įtaką korekcijai, bet kartu ir reaktyvesnis. Didelė grupė suvidurkina daugiau pavyzdžių prieš kiekvieną korekciją, todėl atnaujinimai rečiau, o mokymasis stabilesnis – tai yra svertas, kurį reikia traukti, kai tavo kreivės virpėja be aiškios priežasties.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

Tau nereikia jų derinti atskirai: visi trys parametrai dedami į tą patį žodyną.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

Optimizavimo metodas

Klasikinė klaida – pakeisti visas tris reikšmes vienu metu, pastebėti pagerėjimą ir neturėti supratimo, kuri iš jų tai lėmė. Elgdamasis šia tvarka:

  1. Pirmas paleidimas: palik reikšmes numatytąsias (auto)
  2. Išanalizuok nuostolius: jei mokymo nuostoliai mažėja, o validacijos nuostoliai didėja – vyksta permokymas
  3. Koreguok vieną parametrą vienu metu: niekada nekeisk visko vienu ypu
  4. Dokumentuok kiekvieną paleidimą: užsirašyk hiperparametrus ir gautus rezultatus

Šis žurnalas nėra tik popierizmas. Trečiojo ar ketvirtojo paleidimo metu lentelė, susiejanti užduoties ID, naudotus hiperparametrus ir stebimą rezultatą, visada nugalės tavo atmintį. Štai kaip skaityti dažniausius simptomus.

Stebimas simptomasBandoma korekcija
Mokymo nuostoliai nemažėjaPadidink mokymosi greitį arba epoch’ų skaičių
Validacijos nuostoliai didėjaSumažink epoch’ų skaičių, padidink grupės dydį
Nestabilūs rezultataiSumažink mokymosi greitį
Modelis per panašus į bazinį modelįPadidink epoch’ų skaičių

Reikšmė „auto“

Jei nenurodai hiperparametro, „OpenAI“ automatiškai pasirenka optimalią reikšmę. Taigi tau niekada nereikia užpildyti visko: nustatyk tai, ką nori kontroliuoti, o likusį palik automatiniam derinimui. Tai dažnai yra geriausias starto taškas, suteikiantis bazinę liniją, su kuria galėsi lyginti vėlesnius savo koregavimus.

# Nustatytas tik n_epochs; likusi dalis – auto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # learning_rate_multiplier ir batch_size bus auto
    }
)

Svarbiausi punktai

  • Visada pradėk nuo numatytųjų reikšmių (auto) prieš ką nors koreguodamas
  • n_epochs: koreguok pirmiausia, atsižvelgdamas į duomenų dydį
  • learning_rate_multiplier: koreguok, jei konvergencija per lėta arba per nestabili
  • batch_size: koreguok, jei mokymas yra triukšmingas
  • Keisk tik vieną hiperparametrą vienu metu, kad suprastum jo poveikį
  • Visada naudok validacijos failą permokymui aptikti