Hiperparaméterek: Epochok, tanulási ráta, batch size
Ezen az oldalon
Frissítés: 2026. november 2. – A finomhangolás elérhetősége. Az OpenAI megszünteti az önálló finomhangolási szolgáltatást: 2026. május 7. óta azok a szervezetek, amelyek még sosem futtattak finomhangolási feladatot, már nem hozhatnak létre újat; július 2. óta pedig az elmúlt 60 napban használnod kellett egy finomhangolt modellt. 2027. január 6-tól kezdve egyetlen ügyfél sem indíthat új feladatokat. A már betanított modellek addig használhatók maradnak, amíg az alapmodelljüket ki nem vonják a forgalomból. Ez a tananyag továbbra is hasznos egy meglévő modell megértéséhez és kiaknázásához; új projektek esetén azonban előnyben részesítsd a prompt-mérnökséget, a RAG-ot és az értékeléseket.
A hiperparaméterek szerepe
Az adataid határozzák meg, mit kell a modellnek megtanulnia; a hiperparaméterek pedig azt írják le, hogyan tanul. Alapértelmezés szerint az OpenAI automatikusan kiválaszt ésszerű értékeket az adathalmazod mérete alapján, és egy első futtatásnál ez a helyes lépés. Ha azonban egy modell gyengén teljesít egy tisztított korpusz ellenére is, a különbség szinte mindig ezeken a beállításokon múlik, és ezek manuális hangolása jelentősen javíthatja az eredményeket.
Az epochok száma
Egy epoch a teljes betanítási adathalmazodon való egyetlen teljes áthaladást jelenti. Minél több epochot futtatsz, annál többször látja a modell minden egyes példát, és annál több részletet jegyez meg. Túl kevés epoch esetén a modell nem tanul eleget: ez az alulillesztés (underfitting), és a válaszaid még mindig úgy néznek ki, mint az alapmodelléi. Túl sok epoch esetén viszont a modell bemagolja a példákat ahelyett, hogy általánosítana: ez a túlillesztés (overfitting), és a modell szó szerint recitálja a száz betanított válaszodat, amint egy kérdés csak halványan is hasonlít az egyikre, miközben teljesen összeomlik olyan megfogalmazásoknál, amelyeket még nem látott.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
}
)
A helyes beállítás közvetlenül függ az adatmennyiségedtől: minél kevesebb példád van, annál többször kell végigmenned rajtuk, hogy a jel rögzüljön.
| Adathalmaz mérete | Ajánlott epochok | Ok |
|---|---|---|
| 50–100 példa | 4–8 | Kevés adat, több átmenet szükséges |
| 100–500 példa | 2–4 | Jó egyensúly a tanulás és az általánosítás között |
| 500+ példa | 1–2 | Elég adat, fennáll a túlillesztés veszélye |
A tanulási ráta szorzója
A tanulási ráta (learning rate) szabályozza a modell súlyainak minden egyes tanítási lépésben alkalmazott módosításának mértékét. Ha túl magasra állítod, a modell túl agresszíven korrigál minden lépésben, ingadozik a helyes válasz körül, és nem konvergál; ha túl alacsonyra, akkor nagyon lassan tanul, vagy egyáltalán nem, így a képzés végén egy olyan modellt kapsz, amely szinte megegyezik a kiindulási állapottal.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"learning_rate_multiplier": 1.8
}
)
Az alapértelmezett értéket az OpenAI automatikusan számolja ki az adathalmazod mérete alapján. A gyakorlatban az 1,0–2,0 tartomány megfelel ennek az alapértelmezett viselkedésnek, és a legtöbb esetben megfelelő. Ha 0,5–1,0-ra csökkented, a tanulás óvatosabbá válik, ami kis adathalmazoknál segít, ahol néhány atipikus példa túlságosan eltérítheti a modellt. A 2,0 feletti érték agresszív tanulást eredményez, amelyet csak olyan helyzetekben érdemes használni, amikor azt tapasztalod, hogy a modell nem mozdul eléggé – ezt azonban azonnal ellenőrizni kell a validációs veszteség (validation loss) alapján.
A batch size
A batch size határozza meg, hány példát dolgoz fel a modell együtt, mielőtt frissítené a súlyait. Egy kis batch gyakori frissítéseket eredményez: a tanulás zajosabb, mivel minden egyes példa nagy súllyal esik latba a korrekcióban, de ugyanakkor reagálóképesebb is. Egy nagy batch több példát átlagol minden korrekció előtt, ami ritkább frissítéseket és stabilabb tanulást eredményez – ez az a kar, amit meg kell húznod, ha a görbéid látható ok nélkül ingadoznak.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"batch_size": 4
}
)
Nem kell ezeket külön-külön hangolnod: mindhárom paraméter ugyanabba a szótárba (dictionary) kerül.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
validation_file=validation_file.id,
model="gpt-5.6-luna",
suffix="optimise-v2",
hyperparameters={
"n_epochs": 3,
"learning_rate_multiplier": 1.5,
"batch_size": 4
}
)
Egy optimalizálási módszer
A klasszikus hiba az, ha mindhárom értéket egyszerre változtatod meg, látsz egy javulást, de fogalmad sincs, melyik okozta. Kövesd ezt a sorrendet:
- Első futtatás: hagyd az értékeket alapértelmezetten (auto)
- Elemezd a veszteséget (loss): ha a betanítási veszteség csökken, de a validációs veszteség nő, akkor túlillesztésről van szó
- Egyszerre csak egy paramétert állíts: soha ne változtass meg mindent egyszerre
- Dokumentáld minden futtatást: jegyezd fel a hiperparamétereket és az eredményeket
Ez a napló nem csupán papírmunka. A harmadik vagy negyedik futtatásra egy olyan táblázat, amely összekapcsol egy feladatazonosítót (job ID), a használt hiperparamétereket és a megfigyelt eredményt, minden alkalommal felülmúlja az emlékezetedet. Íme, hogyan értelmezd a leggyakoribb tüneteket.
| Megfigyelt tünet | Kipróbálandó korrekció |
|---|---|
| A betanítási veszteség nem csökken | Növeld a tanulási rátát vagy az epochok számát |
| A validációs veszteség nő | Csökkentsd az epochok számát, növeld a batch size-ot |
| Instabil eredmények | Csökkentsd a tanulási rátát |
| A modell túl hasonlít az alapmodellre | Növeld az epochok számát |
Az „auto“ érték
Ha nem adsz meg egy hiperparamétert, az OpenAI automatikusan kiválaszt egy optimális értéket. Tehát sosem vagy kényszerítve arra, hogy mindent kitölts: állítsd be azt, amit kontrollálni szeretnél, a többit pedig bízd az automatikus hangolásra. Ez gyakran a legjobb kiindulópont, és alapot ad a későbbi módosításaid összehasonlításához.
# Csak az n_epochs van beállítva; a többi auto
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
# A learning_rate_multiplier és a batch_size auto lesz
}
)
Főbb megállapítások
- Mindig az alapértelmezett értékekkel (auto) kezdj, mielőtt módosítanál
n_epochs: ezt állítsd először, az adatmennyiséged alapjánlearning_rate_multiplier: akkor állítsd, ha a konvergencia túl lassú vagy túl instabilbatch_size: akkor állítsd, ha a betanítás zajos- Egyszerre csak egy hiperparamétert változtass, hogy értsd a hatását
- Mindig használj validációs fájlt a túlillesztés észlelésére