Iperparametri: Epoki, Rata ta' Tagħlim, Daqs tal-Batch
F'din il-paġna
Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-Fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat gradwalment: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma ħaddmu impjieg ta’ fine-tuning ma jistgħux joħolqu wieħed ġdid; mill-2 ta’ Lulju, trid tkun użajt mudell imħarreġ (fine-tuned) fi żmien l-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda impjiegi ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt (prompt engineering), RAG, u l-evalwazzjonijiet.
Ir-rwol tal-iperparametri
Id-data tiegħek tiddeskrivi x’għandu jitgħallem il-mudell; l-iperparametri jiddeskrivu kif jitgħallem. B’mod awtomatiku, OpenAI jagħżel valuri raġonevoli bbażati fuq id-daqs tad-dataset tiegħek, u għall-ewwel impjieg, dik hija l-mossa t-tajba. Iżda meta mudell ma jkunx qed jaħdem sew minkejja korpus nadif, id-differenza kważi dejjem tiġi minn dawn l-issettjar, u l-modifika manwali tagħhom tista’ ttejjeb ir-riżultati b’mod sinifikanti.
In-numru ta’ epoki
Epoka hija pass wieħed sħiħ permezz tad-dataset sħiħ tat-taħriġ tiegħek. Aktar epoki li tmexxi, aktar drabi l-mudell jara kull eżempju, u aktar dettall iżomm. Epoki ftit wisq, u l-mudell ma jkunx tgħallem biżżejjed: dan huwa underfitting, u t-tweġibiet tiegħek għadhom jidhru bħal dawk mill-mudell bażi. Epoki wisq, u jiftakar l-eżempji minflok ma jġeneralizza: dan huwa overfitting, u l-mudell jirreċita l-mija tweġiba tat-taħriġ tiegħek malli mistoqsija tixbah vagament waħda minnhom, filwaqt li jfalli fuq frażijiet li qatt ma ra.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
}
)
L-issettjar it-tajjeb jiddependi direttament mill-volum tad-data tiegħek: inqas eżempji li jkollok, aktar drabi għandek tgħaddi minnhom biex is-sinjal jibqa’ magħqud.
| Daqs tad-Dataset | Epoki Rakkomandati | Raġuni |
|---|---|---|
| 50–100 eżempju | 4–8 | Poca data, jeħtieġ aktar passaġġi |
| 100–500 eżempju | 2–4 | Bilanċ tajjeb bejn it-tagħlim u l-ġeneralizzazzjoni |
| 500+ eżempju | 1–2 | Biżżejjed data, riskju ta' overfitting |
Il-multiplikatur tar-rata ta’ tagħlim
Ir-rata ta’ tagħlim (learning rate) tikkontrolla l-kobor tal-aġġustamenti applikati għall-piżijiet tal-mudell f’kull pass tat-taħriġ. Jekk tiġi stabbilita għolja wisq, il-mudell jikkoreġi b’mod aggressiv wisq f’kull pass, joxxilla madwar it-tweġiba t-tajba, u jonqos milli jikkonverġi; jekk tiġi stabbilita baxxa wisq, jitgħallem bil-mod ħafna, jew xejn affattu, u jħallik b’mudell fi tmiem it-taħriġ li huwa kważi identiku għal dak tal-bidu.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"learning_rate_multiplier": 1.8
}
)
Il-valur predefinit huwa kkalkolat awtomatikament minn OpenAI abbażi tad-daqs tad-dataset tiegħek. Fil-prattika, il-firxa bejn 1.0 u 2.0 taqbel ma’ dan l-imġiba predefinita u taqbel għal ħafna każijiet. Li tonqos għal 0.5–1.0 jagħmel it-tagħlim aktar kawt, li jgħin fuq datasets żgħar fejn ftit eżempji atipiċi jistgħu jiġbdu lill-mudell ‘il bogħod wisq mit-triq. Li tmur ‘il fuq minn 2.0 jipproduċi tagħlim aggressiv, riżervat għal sitwazzjonijiet fejn osservajt li l-mudell mhux qed jimxi biżżejjed—u għandha tiġi vverifikata immedjatament kontra t-telf tal-validazzjoni (validation loss).
Id-daqs tal-batch
Id-daqs tal-batch jiddetermina kemm-il eżempju jiġu pproċessati flimkien qabel ma jiġu aġġornati l-piżijiet tal-mudell. Batch żgħir jipproduċi aġġornamenti frekwenti: it-tagħlim ikun aktar imħawwad (noisy), b’kull eżempju jiżen ħafna fil-korrezzjoni, iżda wkoll aktar reattiv. Batch kbir jagħmel medja ta’ aktar eżempji qabel kull korrezzjoni, li jirriżulta f’aġġornamenti inqas frekwenti u tagħlim aktar stabbli—din hija l-leva li għandek tiġbed meta l-kurvi tiegħek ikunu jitterji mingħajr raġuni apparenti.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"batch_size": 4
}
)
M’għandekx bżonn tissettja dawn separatament: it-tliet parametri jmorru fl-istess dizzjunarju.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
validation_file=validation_file.id,
model="gpt-5.6-luna",
suffix="optimise-v2",
hyperparameters={
"n_epochs": 3,
"learning_rate_multiplier": 1.5,
"batch_size": 4
}
)
Metodu ta’ ottimizzazzjoni
L-iżball klassiku huwa li tbiddel it-tliet valuri fl-istess ħin, tara titjib, u ma jkollok l-ebda idea liema wieħed ikkawżah. Imxi f’dan l-ordni:
- L-ewwel ġirja: ħalli l-valuri fil-predefiniti (awto)
- Analizza t-telf (loss): jekk it-telf tat-taħriġ jinżel iżda t-telf tal-validazzjoni jitla’, qed tagħmel overfitting
- Aġġusta parametru wieħed kull darba: qatt tibdel kollox fl-istess ħin
- Iddokumenta kull ġirja: innota l-iperparametri u r-riżultati
Dan il-loġ mhuwiex sempliċiment burokrazija. Sal-ħames jew ir-raba’ ġirja, tabella li tgħaqqad ID tal-impjieg, l-iperparametri użati, u r-riżultat osservat, tieħu post il-memorja tiegħek kull darba. Hekk għandek taqra l-aktar sintomi komuni.
| Sintomu osservat | Korrezzjoni biex tipprova |
|---|---|
| It-telf tat-taħriġ ma jinżilx | Żid ir-rata ta’ tagħlim jew in-numru ta’ epoki |
| It-telf tal-validazzjoni jitla’ | Naqqas in-numru ta’ epoki, żid id-daqs tal-batch |
| Riżultati instabbli | Naqqas ir-rata ta’ tagħlim |
| Il-mudell simili wisq għall-mudell bażi | Żid in-numru ta’ epoki |
Il-valur “awto”
Jekk ma tispeċifikax iperparametru, OpenAI jagħżel awtomatikament valur ottimali. Allura qatt ma tkun sfurzat timla kollox: issettja dak li trid tikkontrolla, u ħalli l-bqija għas-sintonizzazzjoni awtomatika. Dan spiss huwa l-aqwa punt tat-tluq, u jagħtik linja bażi biex tqabbel l-aġġustamenti sussegwenti tiegħek magħha.
# Biss n_epochs huwa stabbilit; il-bqija hija awto
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
# learning_rate_multiplier u batch_size se jkunu awto
}
)
Punti Ewlenin
- Dejjem ibda bil-valuri predefiniti (awto) qabel ma tagħmel aġġustamenti
n_epochs: aġġusta l-ewwel, ibbażat fuq id-daqs tad-data tiegħeklearning_rate_multiplier: aġġusta jekk il-konverġenza tkun bil-mod wisq jew instabbli wisqbatch_size: aġġusta jekk it-taħriġ ikun imħawwad (noisy)- Ibdel iperparametru wieħed biss kull darba biex tifhem l-impatt tiegħu
- Dejjem uża fajl ta’ validazzjoni biex tiskopri l-overfitting