Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Hiperparaméterek: Epochok, tanulási ráta, batch size

6. lecke 16 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. A hiperparaméterek szerepe
  2. Az epochok száma
  3. A tanulási ráta szorzója
  4. A batch size
  5. Egy optimalizálási módszer
  6. Az „auto“ érték
  7. Főbb megállapítások

Frissítés: 2026. november 2. – A finomhangolás elérhetősége. Az OpenAI megszünteti az önálló finomhangolási szolgáltatást: 2026. május 7. óta azok a szervezetek, amelyek még sosem futtattak finomhangolási feladatot, már nem hozhatnak létre újat; július 2. óta pedig az elmúlt 60 napban használnod kellett egy finomhangolt modellt. 2027. január 6-tól kezdve egyetlen ügyfél sem indíthat új feladatokat. A már betanított modellek addig használhatók maradnak, amíg az alapmodelljüket ki nem vonják a forgalomból. Ez a tananyag továbbra is hasznos egy meglévő modell megértéséhez és kiaknázásához; új projektek esetén azonban előnyben részesítsd a prompt-mérnökséget, a RAG-ot és az értékeléseket.

A hiperparaméterek szerepe

Az adataid határozzák meg, mit kell a modellnek megtanulnia; a hiperparaméterek pedig azt írják le, hogyan tanul. Alapértelmezés szerint az OpenAI automatikusan kiválaszt ésszerű értékeket az adathalmazod mérete alapján, és egy első futtatásnál ez a helyes lépés. Ha azonban egy modell gyengén teljesít egy tisztított korpusz ellenére is, a különbség szinte mindig ezeken a beállításokon múlik, és ezek manuális hangolása jelentősen javíthatja az eredményeket.

Az epochok száma

Egy epoch a teljes betanítási adathalmazodon való egyetlen teljes áthaladást jelenti. Minél több epochot futtatsz, annál többször látja a modell minden egyes példát, és annál több részletet jegyez meg. Túl kevés epoch esetén a modell nem tanul eleget: ez az alulillesztés (underfitting), és a válaszaid még mindig úgy néznek ki, mint az alapmodelléi. Túl sok epoch esetén viszont a modell bemagolja a példákat ahelyett, hogy általánosítana: ez a túlillesztés (overfitting), és a modell szó szerint recitálja a száz betanított válaszodat, amint egy kérdés csak halványan is hasonlít az egyikre, miközben teljesen összeomlik olyan megfogalmazásoknál, amelyeket még nem látott.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

A helyes beállítás közvetlenül függ az adatmennyiségedtől: minél kevesebb példád van, annál többször kell végigmenned rajtuk, hogy a jel rögzüljön.

Adathalmaz mérete Ajánlott epochok Ok
50–100 példa 4–8 Kevés adat, több átmenet szükséges
100–500 példa 2–4 Jó egyensúly a tanulás és az általánosítás között
500+ példa 1–2 Elég adat, fennáll a túlillesztés veszélye

A tanulási ráta szorzója

A tanulási ráta (learning rate) szabályozza a modell súlyainak minden egyes tanítási lépésben alkalmazott módosításának mértékét. Ha túl magasra állítod, a modell túl agresszíven korrigál minden lépésben, ingadozik a helyes válasz körül, és nem konvergál; ha túl alacsonyra, akkor nagyon lassan tanul, vagy egyáltalán nem, így a képzés végén egy olyan modellt kapsz, amely szinte megegyezik a kiindulási állapottal.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Az alapértelmezett értéket az OpenAI automatikusan számolja ki az adathalmazod mérete alapján. A gyakorlatban az 1,0–2,0 tartomány megfelel ennek az alapértelmezett viselkedésnek, és a legtöbb esetben megfelelő. Ha 0,5–1,0-ra csökkented, a tanulás óvatosabbá válik, ami kis adathalmazoknál segít, ahol néhány atipikus példa túlságosan eltérítheti a modellt. A 2,0 feletti érték agresszív tanulást eredményez, amelyet csak olyan helyzetekben érdemes használni, amikor azt tapasztalod, hogy a modell nem mozdul eléggé – ezt azonban azonnal ellenőrizni kell a validációs veszteség (validation loss) alapján.

A batch size

A batch size határozza meg, hány példát dolgoz fel a modell együtt, mielőtt frissítené a súlyait. Egy kis batch gyakori frissítéseket eredményez: a tanulás zajosabb, mivel minden egyes példa nagy súllyal esik latba a korrekcióban, de ugyanakkor reagálóképesebb is. Egy nagy batch több példát átlagol minden korrekció előtt, ami ritkább frissítéseket és stabilabb tanulást eredményez – ez az a kar, amit meg kell húznod, ha a görbéid látható ok nélkül ingadoznak.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

Nem kell ezeket külön-külön hangolnod: mindhárom paraméter ugyanabba a szótárba (dictionary) kerül.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

Egy optimalizálási módszer

A klasszikus hiba az, ha mindhárom értéket egyszerre változtatod meg, látsz egy javulást, de fogalmad sincs, melyik okozta. Kövesd ezt a sorrendet:

  1. Első futtatás: hagyd az értékeket alapértelmezetten (auto)
  2. Elemezd a veszteséget (loss): ha a betanítási veszteség csökken, de a validációs veszteség nő, akkor túlillesztésről van szó
  3. Egyszerre csak egy paramétert állíts: soha ne változtass meg mindent egyszerre
  4. Dokumentáld minden futtatást: jegyezd fel a hiperparamétereket és az eredményeket

Ez a napló nem csupán papírmunka. A harmadik vagy negyedik futtatásra egy olyan táblázat, amely összekapcsol egy feladatazonosítót (job ID), a használt hiperparamétereket és a megfigyelt eredményt, minden alkalommal felülmúlja az emlékezetedet. Íme, hogyan értelmezd a leggyakoribb tüneteket.

Megfigyelt tünetKipróbálandó korrekció
A betanítási veszteség nem csökkenNöveld a tanulási rátát vagy az epochok számát
A validációs veszteség nőCsökkentsd az epochok számát, növeld a batch size-ot
Instabil eredményekCsökkentsd a tanulási rátát
A modell túl hasonlít az alapmodellreNöveld az epochok számát

Az „auto“ érték

Ha nem adsz meg egy hiperparamétert, az OpenAI automatikusan kiválaszt egy optimális értéket. Tehát sosem vagy kényszerítve arra, hogy mindent kitölts: állítsd be azt, amit kontrollálni szeretnél, a többit pedig bízd az automatikus hangolásra. Ez gyakran a legjobb kiindulópont, és alapot ad a későbbi módosításaid összehasonlításához.

# Csak az n_epochs van beállítva; a többi auto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # A learning_rate_multiplier és a batch_size auto lesz
    }
)

Főbb megállapítások

  • Mindig az alapértelmezett értékekkel (auto) kezdj, mielőtt módosítanál
  • n_epochs: ezt állítsd először, az adatmennyiséged alapján
  • learning_rate_multiplier: akkor állítsd, ha a konvergencia túl lassú vagy túl instabil
  • batch_size: akkor állítsd, ha a betanítás zajos
  • Egyszerre csak egy hiperparamétert változtass, hogy értsd a hatását
  • Mindig használj validációs fájlt a túlillesztés észlelésére