Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Iperparametri: Epoki, Rata ta' Tagħlim, Daqs tal-Batch

Lezzjoni 6 / 16 Aġġornat 2 ta’ Novembru 2026 Avvanzat
F'din il-paġna
  1. Ir-rwol tal-iperparametri
  2. In-numru ta’ epoki
  3. Il-multiplikatur tar-rata ta’ tagħlim
  4. Id-daqs tal-batch
  5. Metodu ta’ ottimizzazzjoni
  6. Il-valur “awto”
  7. Punti Ewlenin

Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-Fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat gradwalment: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma ħaddmu impjieg ta’ fine-tuning ma jistgħux joħolqu wieħed ġdid; mill-2 ta’ Lulju, trid tkun użajt mudell imħarreġ (fine-tuned) fi żmien l-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda impjiegi ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt (prompt engineering), RAG, u l-evalwazzjonijiet.

Ir-rwol tal-iperparametri

Id-data tiegħek tiddeskrivi x’għandu jitgħallem il-mudell; l-iperparametri jiddeskrivu kif jitgħallem. B’mod awtomatiku, OpenAI jagħżel valuri raġonevoli bbażati fuq id-daqs tad-dataset tiegħek, u għall-ewwel impjieg, dik hija l-mossa t-tajba. Iżda meta mudell ma jkunx qed jaħdem sew minkejja korpus nadif, id-differenza kważi dejjem tiġi minn dawn l-issettjar, u l-modifika manwali tagħhom tista’ ttejjeb ir-riżultati b’mod sinifikanti.

In-numru ta’ epoki

Epoka hija pass wieħed sħiħ permezz tad-dataset sħiħ tat-taħriġ tiegħek. Aktar epoki li tmexxi, aktar drabi l-mudell jara kull eżempju, u aktar dettall iżomm. Epoki ftit wisq, u l-mudell ma jkunx tgħallem biżżejjed: dan huwa underfitting, u t-tweġibiet tiegħek għadhom jidhru bħal dawk mill-mudell bażi. Epoki wisq, u jiftakar l-eżempji minflok ma jġeneralizza: dan huwa overfitting, u l-mudell jirreċita l-mija tweġiba tat-taħriġ tiegħek malli mistoqsija tixbah vagament waħda minnhom, filwaqt li jfalli fuq frażijiet li qatt ma ra.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

L-issettjar it-tajjeb jiddependi direttament mill-volum tad-data tiegħek: inqas eżempji li jkollok, aktar drabi għandek tgħaddi minnhom biex is-sinjal jibqa’ magħqud.

Daqs tad-Dataset Epoki Rakkomandati Raġuni
50–100 eżempju 4–8 Poca data, jeħtieġ aktar passaġġi
100–500 eżempju 2–4 Bilanċ tajjeb bejn it-tagħlim u l-ġeneralizzazzjoni
500+ eżempju 1–2 Biżżejjed data, riskju ta' overfitting

Il-multiplikatur tar-rata ta’ tagħlim

Ir-rata ta’ tagħlim (learning rate) tikkontrolla l-kobor tal-aġġustamenti applikati għall-piżijiet tal-mudell f’kull pass tat-taħriġ. Jekk tiġi stabbilita għolja wisq, il-mudell jikkoreġi b’mod aggressiv wisq f’kull pass, joxxilla madwar it-tweġiba t-tajba, u jonqos milli jikkonverġi; jekk tiġi stabbilita baxxa wisq, jitgħallem bil-mod ħafna, jew xejn affattu, u jħallik b’mudell fi tmiem it-taħriġ li huwa kważi identiku għal dak tal-bidu.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Il-valur predefinit huwa kkalkolat awtomatikament minn OpenAI abbażi tad-daqs tad-dataset tiegħek. Fil-prattika, il-firxa bejn 1.0 u 2.0 taqbel ma’ dan l-imġiba predefinita u taqbel għal ħafna każijiet. Li tonqos għal 0.5–1.0 jagħmel it-tagħlim aktar kawt, li jgħin fuq datasets żgħar fejn ftit eżempji atipiċi jistgħu jiġbdu lill-mudell ‘il bogħod wisq mit-triq. Li tmur ‘il fuq minn 2.0 jipproduċi tagħlim aggressiv, riżervat għal sitwazzjonijiet fejn osservajt li l-mudell mhux qed jimxi biżżejjed—u għandha tiġi vverifikata immedjatament kontra t-telf tal-validazzjoni (validation loss).

Id-daqs tal-batch

Id-daqs tal-batch jiddetermina kemm-il eżempju jiġu pproċessati flimkien qabel ma jiġu aġġornati l-piżijiet tal-mudell. Batch żgħir jipproduċi aġġornamenti frekwenti: it-tagħlim ikun aktar imħawwad (noisy), b’kull eżempju jiżen ħafna fil-korrezzjoni, iżda wkoll aktar reattiv. Batch kbir jagħmel medja ta’ aktar eżempji qabel kull korrezzjoni, li jirriżulta f’aġġornamenti inqas frekwenti u tagħlim aktar stabbli—din hija l-leva li għandek tiġbed meta l-kurvi tiegħek ikunu jitterji mingħajr raġuni apparenti.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

M’għandekx bżonn tissettja dawn separatament: it-tliet parametri jmorru fl-istess dizzjunarju.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

Metodu ta’ ottimizzazzjoni

L-iżball klassiku huwa li tbiddel it-tliet valuri fl-istess ħin, tara titjib, u ma jkollok l-ebda idea liema wieħed ikkawżah. Imxi f’dan l-ordni:

  1. L-ewwel ġirja: ħalli l-valuri fil-predefiniti (awto)
  2. Analizza t-telf (loss): jekk it-telf tat-taħriġ jinżel iżda t-telf tal-validazzjoni jitla’, qed tagħmel overfitting
  3. Aġġusta parametru wieħed kull darba: qatt tibdel kollox fl-istess ħin
  4. Iddokumenta kull ġirja: innota l-iperparametri u r-riżultati

Dan il-loġ mhuwiex sempliċiment burokrazija. Sal-ħames jew ir-raba’ ġirja, tabella li tgħaqqad ID tal-impjieg, l-iperparametri użati, u r-riżultat osservat, tieħu post il-memorja tiegħek kull darba. Hekk għandek taqra l-aktar sintomi komuni.

Sintomu osservatKorrezzjoni biex tipprova
It-telf tat-taħriġ ma jinżilxŻid ir-rata ta’ tagħlim jew in-numru ta’ epoki
It-telf tal-validazzjoni jitla’Naqqas in-numru ta’ epoki, żid id-daqs tal-batch
Riżultati instabbliNaqqas ir-rata ta’ tagħlim
Il-mudell simili wisq għall-mudell bażiŻid in-numru ta’ epoki

Il-valur “awto”

Jekk ma tispeċifikax iperparametru, OpenAI jagħżel awtomatikament valur ottimali. Allura qatt ma tkun sfurzat timla kollox: issettja dak li trid tikkontrolla, u ħalli l-bqija għas-sintonizzazzjoni awtomatika. Dan spiss huwa l-aqwa punt tat-tluq, u jagħtik linja bażi biex tqabbel l-aġġustamenti sussegwenti tiegħek magħha.

# Biss n_epochs huwa stabbilit; il-bqija hija awto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # learning_rate_multiplier u batch_size se jkunu awto
    }
)

Punti Ewlenin

  • Dejjem ibda bil-valuri predefiniti (awto) qabel ma tagħmel aġġustamenti
  • n_epochs: aġġusta l-ewwel, ibbażat fuq id-daqs tad-data tiegħek
  • learning_rate_multiplier: aġġusta jekk il-konverġenza tkun bil-mod wisq jew instabbli wisq
  • batch_size: aġġusta jekk it-taħriġ ikun imħawwad (noisy)
  • Ibdel iperparametru wieħed biss kull darba biex tifhem l-impatt tiegħu
  • Dejjem uża fajl ta’ validazzjoni biex tiskopri l-overfitting