Hyperparameters: Epochs, Learning Rate, Batch Size
Op deze pagina
Update 2 november 2026 — Beschikbaarheid fine-tuning. De self-service fine-tuning van OpenAI wordt gefaseerd uitgefaseerd: sinds 7 mei 2026 kunnen organisaties die nog nooit een fine-tuning-taak hebben uitgevoerd, geen nieuwe meer aanmaken; sinds 2 juli moet u binnen de laatste 60 dagen een gefinetuned model hebben gebruikt; en vanaf 6 januari 2027 kan geen enkele klant nog nieuwe taken starten. Reeds getrainde modellen blijven bruikbaar totdat hun basismodel wordt stopgezet. Deze cursus blijft nuttig om een bestaand model te begrijpen en benutten; voor nieuwe projecten geeft u prioriteit aan prompt engineering, RAG en evaluaties.
De rol van hyperparameters
Uw data beschrijft wat het model moet leren; hyperparameters beschrijven hoe het leert. Standaard kiest OpenAI automatisch redelijke waarden op basis van de grootte van uw dataset, en voor een eerste taak is dat de juiste zet. Maar wanneer een model slecht presteert ondanks een schone corpus, ligt het verschil bijna altijd aan deze instellingen, en handmatig tweaken kan de resultaten aanzienlijk verbeteren.
Het aantal epochs
Een epoch is één volledige doorgang door uw volledige trainingsdataset. Hoe meer epochs u uitvoert, hoe vaker het model elk voorbeeld ziet, en hoe meer detail het onthoudt. Te weinig epochs, en het model heeft niet genoeg geleerd: dit is underfitting, en uw antwoorden lijken nog steeds op die van het basismodel. Te veel epochs, en het memoriseert de voorbeelden in plaats van te generaliseren: dit is overfitting, en het model reciteert uw honderd trainingsantwoorden zodra een vraag er vaag op lijkt, terwijl het instort bij ongeziene formuleringen.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
}
)
De juiste instelling hangt direct af van uw datavolume: hoe minder voorbeelden u heeft, hoe vaker u erdoorheen moet gaan om het signaal te laten plakken.
| Dataset size | Recommended epochs | Reason |
|---|---|---|
| 50–100 examples | 4–8 | Little data, needs more passes |
| 100–500 examples | 2–4 | Good balance of learning and generalization |
| 500+ examples | 1–2 | Enough data, risk of overfitting |
De learning rate multiplier
De learning rate bepaalt de grootte van de aanpassingen die bij elke trainingsstap op de gewichten van het model worden toegepast. Te hoog ingesteld, en het model corrigeert te agressief bij elke stap, oscilleert rond het juiste antwoord en convergeert niet; te laag ingesteld, en het leert zeer langzaam, of helemaal niet, waardoor u aan het einde van de training een model overhoudt dat bijna identiek is aan het startmodel.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"learning_rate_multiplier": 1.8
}
)
De standaardwaarde wordt automatisch door OpenAI berekend op basis van uw datasetgrootte. In de praktijk komt het bereik 1,0–2,0 overeen met dit standaardgedrag en past het bij de meeste gevallen. Zakken naar 0,5–1,0 maakt het leren voorzichtiger, wat helpt bij kleine datasets waar een paar atypische voorbeelden het model te ver van koers kunnen trekken. Boven 2,0 gaan levert agressief leren op, gereserveerd voor situaties waarin u heeft waargenomen dat het model niet genoeg beweegt — en dit moet onmiddellijk worden gecontroleerd tegen de validatieverlies.
De batch size
Batch size bepaalt hoeveel voorbeelden samen worden verwerkt voordat de gewichten van het model worden bijgewerkt. Een kleine batch produceert frequente updates: leren is ruiziger, waarbij elk voorbeeld zwaar weegt in de correctie, maar ook responsiever. Een grote batch middelt meer voorbeelden voor elke correctie, wat resulteert in minder frequente updates en stabieler leren — dit is de hendel om aan te halen wanneer uw curves zonder duidelijke reden trillen.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"batch_size": 4
}
)
U hoeft deze niet afzonderlijk af te stemmen: alle drie de parameters gaan in dezelfde dictionary.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
validation_file=validation_file.id,
model="gpt-5.6-luna",
suffix="optimise-v2",
hyperparameters={
"n_epochs": 3,
"learning_rate_multiplier": 1.5,
"batch_size": 4
}
)
Een optimalisatiemethode
De klassieke fout is om alle drie de waarden tegelijk te wijzigen, een verbetering te zien en geen idee te hebben welke de oorzaak was. Werk in deze volgorde:
- Eerste run: laat waarden op standaard (auto)
- Analyseer de loss: als de trainingsloss daalt maar de validatieloss stijgt, heeft u overfitting
- Pas één parameter per keer aan: verander nooit alles tegelijk
- Documenteer elke run: noteer de hyperparameters en de resultaten
Dit logboek is niet alleen administratie. Bij de derde of vierde run verslaat een tabel die een taak-ID, de gebruikte hyperparameters en het waargenomen resultaat koppelt, uw geheugen elke keer. Hier leest u hoe u de meest voorkomende symptomen duidt.
| Waargenomen symptoom | Te proberen correctie |
|---|---|
| Trainingsloss daalt niet | Verhoog learning rate of aantal epochs |
| Validatieloss stijgt | Verminder aantal epochs, verhoog batch size |
| Instabiele resultaten | Verminder learning rate |
| Model te vergelijkbaar met basismodel | Verhoog aantal epochs |
De waarde “auto”
Als u geen hyperparameter opgeeft, kiest OpenAI automatisch een optimale waarde. U bent dus nooit gedwongen alles in te vullen: stel in wat u wilt controleren en laat de rest over aan automatische afstemming. Dit is vaak het beste startpunt, en het geeft u een basislijn om uw latere aanpassingen mee te vergelijken.
# Alleen n_epochs is ingesteld; de rest is auto
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
# learning_rate_multiplier en batch_size worden auto
}
)
Belangrijkste punten
- Begin altijd met standaardwaarden (auto) voordat u aanpast
n_epochs: pas als eerste aan, op basis van uw datagroottelearning_rate_multiplier: pas aan als convergentie te traag of te instabiel isbatch_size: pas aan als de training ruizig is- Wijzig slechts één hyperparameter per keer om de impact te begrijpen
- Gebruik altijd een validatiebestand om overfitting op te sporen