Hüperparameetrid: epohhid, õppimiskiirus, partii suurus
Sellel lehel
Uuendus 2. novembril 2026 – Peenhäälestuse kättesaadavus. OpenAI iseteeninduslik peenhäälestus on järk-järgult kasutuselt kõrvaldatav: alates 7. maist 2026 ei saa organisatsioonid, mis pole kunagi varem peenhäälestustööd käivitanud, uut luua; alates 2. juulist peab olema viimase 60 päeva jooksul kasutatud peenhäälestatud mudelit; ja alates 6. jaanuarist 2027 ei saa ükski klient uusi töid käivitada. Juba treenitud mudeleid saab kasutada seni, kuni nende baasmudel on kasutuselt kõrvaldatud. See kursus on endiselt kasulik olemasoleva mudeli mõistmiseks ja rakendamiseks; uute projektide puhul sea esikohale vihjeinsenerlus (prompt engineering), RAG ja hindamine.
Hüperparameetrite roll
Sinu andmed kirjeldavad, mida mudel peaks õppima; hüperparameetrid kirjeldavad, kuidas ta seda teeb. Vaikimisi valib OpenAI sinu andmestiku suuruse põhjal mõistlikud väärtused automaatselt ja esimese töö puhul on see õige samm. Kui aga mudel ei toimi hästi, hoolimata puhtast tekstikogumist, peitub erinevus peaaegu alati just nendes seadistustes ja nende käsitsi kohandamine võib tulemusi oluliselt parandada.
Epohhide arv
Epohh on üks täielik läbimine kogu sinu treeningandmestikust. Mida rohkem epohhe käivitad, seda rohkem kordi näeb mudel iga näidet ja seda rohkem detaile ta meeles peab. Liiga vähe epohhe tähendab, et mudel pole piisavalt õppinud: see on alatreenitus (underfitting) ja sinu vastused näevad endiselt välja nagu baasmudeli omad. Liiga palju epohhe paneb mudeli näited pähe õppima selle asemel, et üldistada: see on ületreenitus (overfitting) ja mudel loeb ette sinu sada treeningvastust niipea, kui küsimus sarnaneb ühega neist, kuid laguneb nägemata sõnastuse korral.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
}
)
Õige seade sõltub otseselt sinu andmemahust: mida vähem näiteid sul on, seda rohkem kordi pead neist läbi käima, et signaal kinnistuks.
| Andmestiku suurus | Soovitatud epohhid | Põhjus |
|---|---|---|
| 50–100 näidet | 4–8 | Vähe andmeid, vaja rohkem läbimisi |
| 100–500 näidet | 2–4 | Hea tasakaal õppimise ja üldistamise vahel |
| 500+ näidet | 1–2 | Piisavalt andmeid, ületreenituse oht |
Õppimiskiiruse kordaja
Õppimiskiirus kontrollib mudeli kaaludele igal treeningusammul tehtavate kohanduste suurust. Kui see on seatud liiga kõrgele, korrigeerib mudel igal sammul liiga agressiivselt, võngub õige vastuse ümber ega koondunud; kui liiga madalale, õpib ta väga aeglaselt või üldse mitte, jättes sulle treeningu lõpus mudeli, mis on algsega peaaegu identne.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"learning_rate_multiplier": 1.8
}
)
Vaikimisi väärtuse arvutab OpenAI automaatselt sinu andmestiku suuruse põhjal. Praktikas sobib vahemik 1,0–2,0 selle vaikimisi käitumisega ja enamiku juhtude jaoks. Langus vahemikku 0,5–1,0 muudab õppimise ettevaatlikumaks, mis aitab väikeste andmestike puhul, kus mõned ebatüüpilised näited võivad mudeli liiga kaugele kursilt välja viia. Üle 2,0 minek annab agressiivse õppimise, mis on reserveeritud olukordadele, kus oled täheldanud, et mudel ei liigu piisavalt – ja seda tuleks kohe kontrollida valideerimiskao (validation loss) vastu.
Partii suurus
Partii suurus määrab, mitu näidet töödeldakse koos enne mudeli kaalude uuendamist. Väike partii toodab sagedasi uuendusi: õppimine on müralisem, kus iga näide kaalub korrigeerimisel tugevalt, kuid samas on see reageerimisvõimelisem. Suur partii keskmistab enne iga korrigeerimist rohkem näiteid, mille tulemuseks on harvemad uuendused ja stabiilsem õppimine – see on hoob, mida tõmmata, kui sinu kõverad on ilma nähtava põhjuseta ebastabiilsed.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"batch_size": 4
}
)
Sa ei pea neid eraldi häälestama: kõik kolm parameetrit lähevad samasse sõnastikku.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
validation_file=validation_file.id,
model="gpt-5.6-luna",
suffix="optimise-v2",
hyperparameters={
"n_epochs": 3,
"learning_rate_multiplier": 1.5,
"batch_size": 4
}
)
Optimeerimismeetod
Klassikaline viga on muuta kõiki kolme väärtust korraga, näha paranemist ja mitte aimatagi, milline neist selle põhjustas. Tegutse selles järjekorras:
- Esimene käivitamine: jäta väärtused vaikimisi (auto)
- Analüüsi kadu: kui treeningkahu langeb, kuid valideerimiskahu kasvab, on tegemist ületreenitusega
- Kohanda ühte parameetrit korraga: ära muuda kunagi kõike korraga
- Dokumenteeri iga käivitust: pane kirja hüperparameetrid ja tulemused
See logi pole pelgalt paberimajandus. Kolmandaks või neljandaks käivituseks löö tabel, mis seob töö ID, kasutatud hüperparameetrid ja täheldatud tulemuse, sinu mälu igal juhul. Siin on juhised levinumate sümptomite lugemiseks.
| Täheldatud sümptom | Proovitav korrigeerimine |
|---|---|
| Treeningkahu ei lange | Suurenda õppimiskiirust või epohhide arvu |
| Valideerimiskahu kasvab | Vähenda epohhide arvu, suurenda partii suurust |
| Ebastabiilsed tulemused | Vähenda õppimiskiirust |
| Mudel liiga sarnane baasmudeliga | Suurenda epohhide arvu |
Väärtus „auto“
Kui sa hüperparameetrit ei määra, valib OpenAI automaatselt optimaalse väärtuse. Seega ei ole sa kunagi sunnitud kõike täitma: määra see, mida soovid kontrollida, ja jäta ülejäänu automaatsele häälestusele. See on sageli parim lähtepunkt ja annab baasjoone, millega hilisemaid kohandusi võrrelda.
# Määratud on ainult n_epochs; ülejäänu on auto
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
# learning_rate_multiplier ja batch_size on auto
}
)
Peamised punktid
- Alusta alati vaikimisi väärtustega (auto) enne kohandamist
n_epochs: kohanda esimesena, lähtudes oma andmete suurusestlearning_rate_multiplier: kohanda, kui koondumine on liiga aeglane või liiga ebastabiilnebatch_size: kohanda, kui treening on müraline- Muuda korraga ainult ühte hüperparameetrit, et mõista selle mõju
- Kasuta alati valideerimisfaili ületreenituse tuvastamiseks