Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

Hyperparameter: Epochen, Lernrate, Batch-Größe

Lektion 6 von 16 Aktualisiert am 2. November 2026 Fortgeschritten
Auf dieser Seite
  1. Die Rolle der Hyperparameter
  2. Die Anzahl der Epochen
  3. Der Lernraten-Multiplikator
  4. Die Batch-Größe
  5. Eine Optimierungsmethode
  6. Der Wert „auto”
  7. Wichtige Erkenntnisse

Update vom 2. November 2026 — Verfügbarkeit des Feinabstimmens. Das Selbstbedienungs-Feinabstimmungsdienst von OpenAI wird schrittweise eingestellt: Seit dem 7. Mai 2026 können Organisationen, die noch nie einen Feinabstimmungsauftrag ausgeführt haben, keinen neuen erstellen; seit dem 2. Juli müssen Sie ein feinabgestimmtes Modell innerhalb der letzten 60 Tage verwendet haben; und ab dem 6. Januar 2027 können keine neuen Aufträge mehr gestartet werden. Bereits trainierte Modelle bleiben nutzbar, bis das zugrundeliegende Basismodell zurückgezogen wird. Dieser Kurs bleibt nützlich, um ein bestehendes Modell zu verstehen und zu nutzen; für neue Projekte sollten Sie Prompt Engineering, RAG und Evaluierungen priorisieren.

Die Rolle der Hyperparameter

Ihre Daten beschreiben, was das Modell lernen soll; die Hyperparameter beschreiben, wie es lernt. Standardmäßig wählt OpenAI angemessene Werte basierend auf der Größe Ihres Datensatzes aus, und für den ersten Auftrag ist dies der richtige Weg. Wenn ein Modell jedoch trotz eines sauberen Korpus schlechte Ergebnisse liefert, liegt der Unterschied fast immer bei diesen Einstellungen, und eine manuelle Anpassung kann die Ergebnisse erheblich verbessern.

Die Anzahl der Epochen

Eine Epoche entspricht einem vollständigen Durchlauf Ihres gesamten Trainingsdatensatzes. Je mehr Epochen Sie ausführen, desto häufiger sieht das Modell jedes Beispiel, und desto mehr Details behält es. Zu wenige Epochen bedeuten, dass das Modell nicht genug gelernt hat: Dies ist Unteranpassung (underfitting), und die Antworten sehen immer noch so aus wie die des Basismodells. Zu viele Epochen führen dazu, dass das Modell die Beispiele auswendig lernt statt zu generalisieren: Dies ist Überanpassung (overfitting), und das Modell rezitiert Ihre hundert Trainingsantworten, sobald eine Frage einer davon auch nur entfernt ähnelt, während es bei unbekannten Formulierungen versagt.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
    }
)

Die richtige Einstellung hängt direkt von der Datenmenge ab: Je weniger Beispiele Sie haben, desto mehr Durchläufe benötigen Sie, damit das Signal haften bleibt.

Datensatzgröße Empfohlene Epochen Grund
50–100 Beispiele 4–8 Wenig Daten, benötigt mehr Durchläufe
100–500 Beispiele 2–4 Guter Ausgleich zwischen Lernen und Generalisierung
500+ Beispiele 1–2 Ausreichend Daten, Risiko der Überanpassung

Der Lernraten-Multiplikator

Die Lernrate steuert die Größe der Anpassungen, die an den Gewichten des Modells in jedem Trainingsschritt vorgenommen werden. Ist sie zu hoch, korrigiert das Modell zu aggressiv in jedem Schritt, oszilliert um die richtige Antwort und konvergiert nicht; ist sie zu niedrig, lernt es sehr langsam oder gar nicht, sodass Sie am Ende des Trainings ein Modell erhalten, das dem Ausgangsmodell fast identisch ist.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "learning_rate_multiplier": 1.8
    }
)

Der Standardwert wird automatisch von OpenAI basierend auf der Größe Ihres Datensatzes berechnet. In der Praxis entspricht der Bereich 1,0–2,0 diesem Standardverhalten und eignet sich für die meisten Fälle. Ein Absenken auf 0,5–1,0 macht das Lernen vorsichtiger, was bei kleinen Datensätzen hilft, wo einige atypische Beispiele das Modell zu stark vom Kurs abbringen könnten. Werte über 2,0 führen zu aggressivem Lernen und sind vorbehalten für Situationen, in denen Sie beobachtet haben, dass sich das Modell nicht genug bewegt – und sollten sofort gegen den Validierungsverlust geprüft werden.

Die Batch-Größe

Die Batch-Größe bestimmt, wie viele Beispiele gemeinsam verarbeitet werden, bevor die Gewichte des Modells aktualisiert werden. Ein kleiner Batch erzeugt häufige Aktualisierungen: Das Lernen ist lauter, jedes Beispiel wiegt bei der Korrektur schwer, aber es ist auch reaktionsschneller. Ein großer Batch mittelt mehr Beispiele vor jeder Korrektur, was zu weniger häufigen Aktualisierungen und stabilerem Lernen führt – dies ist der Hebel, den Sie ziehen sollten, wenn Ihre Kurven ohne ersichtlichen Grund zittern.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "batch_size": 4
    }
)

Sie müssen diese Parameter nicht separat anpassen: Alle drei Parameter gehen in dasselbe Wörterbuch.

job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    validation_file=validation_file.id,
    model="gpt-5.6-luna",
    suffix="optimise-v2",
    hyperparameters={
        "n_epochs": 3,
        "learning_rate_multiplier": 1.5,
        "batch_size": 4
    }
)

Eine Optimierungsmethode

Der klassische Fehler besteht darin, alle drei Werte gleichzeitig zu ändern, eine Verbesserung zu beobachten und nicht zu wissen, welcher Parameter dafür verantwortlich ist. Gehen Sie in dieser Reihenfolge vor:

  1. Erster Lauf: Lassen Sie die Werte auf Standard (auto)
  2. Analyse des Verlusts: Wenn der Trainingsverlust sinkt, aber der Validierungsverlust steigt, überpassen Sie das Modell
  3. Anpassung eines Parameters nach dem anderen: Ändern Sie niemals alles auf einmal
  4. Dokumentation jedes Laufs: Notieren Sie die Hyperparameter und die Ergebnisse

Dieses Protokoll ist nicht nur Bürokratie. Bei dem dritten oder vierten Lauf schlägt eine Tabelle, die eine Job-ID, die verwendeten Hyperparameter und das beobachtete Ergebnis verknüpft, jedes Mal Ihr Gedächtnis. So lesen Sie die häufigsten Symptome.

Beobachtetes SymptomKorrekturmaßnahme
Trainingsverlust sinkt nichtLernrate oder Anzahl der Epochen erhöhen
Validierungsverlust steigtAnzahl der Epochen reduzieren, Batch-Größe erhöhen
Instabile ErgebnisseLernrate reduzieren
Modell zu ähnlich zum BasismodellAnzahl der Epochen erhöhen

Der Wert „auto”

Wenn Sie einen Hyperparameter nicht angeben, wählt OpenAI automatisch einen optimalen Wert. Sie sind also nie gezwungen, alles einzutragen: Setzen Sie, was Sie kontrollieren möchten, und lassen Sie den Rest der automatischen Abstimmung überlassen. Dies ist oft der beste Ausgangspunkt und gibt Ihnen eine Basislinie, gegen die Sie Ihre späteren Anpassungen vergleichen können.

# Nur n_epochs ist gesetzt; der Rest ist auto
job = client.fine_tuning.jobs.create(
    training_file=training_file.id,
    model="gpt-5.6-luna",
    hyperparameters={
        "n_epochs": 3
        # learning_rate_multiplier und batch_size werden automatisch gewählt
    }
)

Wichtige Erkenntnisse

  • Beginnen Sie immer mit Standardwerten (auto), bevor Sie anpassen
  • n_epochs: zuerst anpassen, basierend auf der Größe Ihrer Daten
  • learning_rate_multiplier: anpassen, wenn die Konvergenz zu langsam oder zu instabil ist
  • batch_size: anpassen, wenn das Training lauter ist
  • Ändern Sie nur einen Hyperparameter nach dem anderen, um seine Auswirkung zu verstehen
  • Verwenden Sie immer eine Validierungsdatei, um Überanpassung zu erkennen