Hyperparameter: Epochen, Lernrate, Batch-Größe
Auf dieser Seite
Update vom 2. November 2026 — Verfügbarkeit des Feinabstimmens. Das Selbstbedienungs-Feinabstimmungsdienst von OpenAI wird schrittweise eingestellt: Seit dem 7. Mai 2026 können Organisationen, die noch nie einen Feinabstimmungsauftrag ausgeführt haben, keinen neuen erstellen; seit dem 2. Juli müssen Sie ein feinabgestimmtes Modell innerhalb der letzten 60 Tage verwendet haben; und ab dem 6. Januar 2027 können keine neuen Aufträge mehr gestartet werden. Bereits trainierte Modelle bleiben nutzbar, bis das zugrundeliegende Basismodell zurückgezogen wird. Dieser Kurs bleibt nützlich, um ein bestehendes Modell zu verstehen und zu nutzen; für neue Projekte sollten Sie Prompt Engineering, RAG und Evaluierungen priorisieren.
Die Rolle der Hyperparameter
Ihre Daten beschreiben, was das Modell lernen soll; die Hyperparameter beschreiben, wie es lernt. Standardmäßig wählt OpenAI angemessene Werte basierend auf der Größe Ihres Datensatzes aus, und für den ersten Auftrag ist dies der richtige Weg. Wenn ein Modell jedoch trotz eines sauberen Korpus schlechte Ergebnisse liefert, liegt der Unterschied fast immer bei diesen Einstellungen, und eine manuelle Anpassung kann die Ergebnisse erheblich verbessern.
Die Anzahl der Epochen
Eine Epoche entspricht einem vollständigen Durchlauf Ihres gesamten Trainingsdatensatzes. Je mehr Epochen Sie ausführen, desto häufiger sieht das Modell jedes Beispiel, und desto mehr Details behält es. Zu wenige Epochen bedeuten, dass das Modell nicht genug gelernt hat: Dies ist Unteranpassung (underfitting), und die Antworten sehen immer noch so aus wie die des Basismodells. Zu viele Epochen führen dazu, dass das Modell die Beispiele auswendig lernt statt zu generalisieren: Dies ist Überanpassung (overfitting), und das Modell rezitiert Ihre hundert Trainingsantworten, sobald eine Frage einer davon auch nur entfernt ähnelt, während es bei unbekannten Formulierungen versagt.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
}
)
Die richtige Einstellung hängt direkt von der Datenmenge ab: Je weniger Beispiele Sie haben, desto mehr Durchläufe benötigen Sie, damit das Signal haften bleibt.
| Datensatzgröße | Empfohlene Epochen | Grund |
|---|---|---|
| 50–100 Beispiele | 4–8 | Wenig Daten, benötigt mehr Durchläufe |
| 100–500 Beispiele | 2–4 | Guter Ausgleich zwischen Lernen und Generalisierung |
| 500+ Beispiele | 1–2 | Ausreichend Daten, Risiko der Überanpassung |
Der Lernraten-Multiplikator
Die Lernrate steuert die Größe der Anpassungen, die an den Gewichten des Modells in jedem Trainingsschritt vorgenommen werden. Ist sie zu hoch, korrigiert das Modell zu aggressiv in jedem Schritt, oszilliert um die richtige Antwort und konvergiert nicht; ist sie zu niedrig, lernt es sehr langsam oder gar nicht, sodass Sie am Ende des Trainings ein Modell erhalten, das dem Ausgangsmodell fast identisch ist.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"learning_rate_multiplier": 1.8
}
)
Der Standardwert wird automatisch von OpenAI basierend auf der Größe Ihres Datensatzes berechnet. In der Praxis entspricht der Bereich 1,0–2,0 diesem Standardverhalten und eignet sich für die meisten Fälle. Ein Absenken auf 0,5–1,0 macht das Lernen vorsichtiger, was bei kleinen Datensätzen hilft, wo einige atypische Beispiele das Modell zu stark vom Kurs abbringen könnten. Werte über 2,0 führen zu aggressivem Lernen und sind vorbehalten für Situationen, in denen Sie beobachtet haben, dass sich das Modell nicht genug bewegt – und sollten sofort gegen den Validierungsverlust geprüft werden.
Die Batch-Größe
Die Batch-Größe bestimmt, wie viele Beispiele gemeinsam verarbeitet werden, bevor die Gewichte des Modells aktualisiert werden. Ein kleiner Batch erzeugt häufige Aktualisierungen: Das Lernen ist lauter, jedes Beispiel wiegt bei der Korrektur schwer, aber es ist auch reaktionsschneller. Ein großer Batch mittelt mehr Beispiele vor jeder Korrektur, was zu weniger häufigen Aktualisierungen und stabilerem Lernen führt – dies ist der Hebel, den Sie ziehen sollten, wenn Ihre Kurven ohne ersichtlichen Grund zittern.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"batch_size": 4
}
)
Sie müssen diese Parameter nicht separat anpassen: Alle drei Parameter gehen in dasselbe Wörterbuch.
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
validation_file=validation_file.id,
model="gpt-5.6-luna",
suffix="optimise-v2",
hyperparameters={
"n_epochs": 3,
"learning_rate_multiplier": 1.5,
"batch_size": 4
}
)
Eine Optimierungsmethode
Der klassische Fehler besteht darin, alle drei Werte gleichzeitig zu ändern, eine Verbesserung zu beobachten und nicht zu wissen, welcher Parameter dafür verantwortlich ist. Gehen Sie in dieser Reihenfolge vor:
- Erster Lauf: Lassen Sie die Werte auf Standard (auto)
- Analyse des Verlusts: Wenn der Trainingsverlust sinkt, aber der Validierungsverlust steigt, überpassen Sie das Modell
- Anpassung eines Parameters nach dem anderen: Ändern Sie niemals alles auf einmal
- Dokumentation jedes Laufs: Notieren Sie die Hyperparameter und die Ergebnisse
Dieses Protokoll ist nicht nur Bürokratie. Bei dem dritten oder vierten Lauf schlägt eine Tabelle, die eine Job-ID, die verwendeten Hyperparameter und das beobachtete Ergebnis verknüpft, jedes Mal Ihr Gedächtnis. So lesen Sie die häufigsten Symptome.
| Beobachtetes Symptom | Korrekturmaßnahme |
|---|---|
| Trainingsverlust sinkt nicht | Lernrate oder Anzahl der Epochen erhöhen |
| Validierungsverlust steigt | Anzahl der Epochen reduzieren, Batch-Größe erhöhen |
| Instabile Ergebnisse | Lernrate reduzieren |
| Modell zu ähnlich zum Basismodell | Anzahl der Epochen erhöhen |
Der Wert „auto”
Wenn Sie einen Hyperparameter nicht angeben, wählt OpenAI automatisch einen optimalen Wert. Sie sind also nie gezwungen, alles einzutragen: Setzen Sie, was Sie kontrollieren möchten, und lassen Sie den Rest der automatischen Abstimmung überlassen. Dies ist oft der beste Ausgangspunkt und gibt Ihnen eine Basislinie, gegen die Sie Ihre späteren Anpassungen vergleichen können.
# Nur n_epochs ist gesetzt; der Rest ist auto
job = client.fine_tuning.jobs.create(
training_file=training_file.id,
model="gpt-5.6-luna",
hyperparameters={
"n_epochs": 3
# learning_rate_multiplier und batch_size werden automatisch gewählt
}
)
Wichtige Erkenntnisse
- Beginnen Sie immer mit Standardwerten (auto), bevor Sie anpassen
n_epochs: zuerst anpassen, basierend auf der Größe Ihrer Datenlearning_rate_multiplier: anpassen, wenn die Konvergenz zu langsam oder zu instabil istbatch_size: anpassen, wenn das Training lauter ist- Ändern Sie nur einen Hyperparameter nach dem anderen, um seine Auswirkung zu verstehen
- Verwenden Sie immer eine Validierungsdatei, um Überanpassung zu erkennen