Zum Hauptinhalt springen
Deutsch— Sprache auswählen
Menü

DPO (Direct Preference Optimization)

Lektion 8 von 16 Aktualisiert am 2. November 2026 Fortgeschritten
Auf dieser Seite
  1. Was ist DPO?
  2. Wann ist es sinnvoll, es zu verwenden?
  3. Datenformat
  4. Starten des Jobs
  5. Erstellen nutzbarer Paare
  6. Kernaussagen

Update vom 2. November 2026 — Verfügbarkeit des Feinabstimmens. Das Selbstbedienungs-Feinabstimmungsdienst von OpenAI wird schrittweise eingestellt: Seit dem 7. Mai 2026 können Organisationen, die dies noch nie genutzt haben, keine Jobs mehr erstellen; seit dem 2. Juli müssen Sie ein feinabgestimmtes Modell innerhalb der letzten 60 Tage verwendet haben; und ab dem 6. Januar 2027 können keine neuen Kunden neue Jobs starten. Bereits trainierte Modelle bleiben nutzbar, bis ihr Basismodell zurückgezogen wird. Dieser Kurs bleibt nützlich, um ein bestehendes Modell zu verstehen und zu nutzen; für neue Projekte priorisieren Sie Prompt Engineering, RAG und Evaluierungen.

Was ist DPO?

DPO (Direct Preference Optimization) ist ein Feinabstimmungsverfahren, das einem Modell beibringt, bestimmte Antworten gegenüber anderen vorzuziehen. Anstatt wie bisher nur die korrekte Antwort anzuzeigen, zeigen Sie ein Paar an: eine bevorzugte Antwort und eine nicht-bevorzugte Antwort. Das Modell lernt, die Wahrscheinlichkeit der ersten zu maximieren und die der zweiten zu minimieren. Der Unterschied ist tiefer, als er auf den ersten Blick erscheint: Beim überwachten Feinabstimmung (supervised fine-tuning) definieren Sie ein Ziel; bei DPO definieren Sie eine Grenze.

Aspekt Überwacht (SFT) DPO
Daten Nur korrekte Antwort Paar: bevorzugte + nicht-bevorzugte Antwort
Ziel Lernen, nachzuahmen Lernen, zu unterscheiden
Einsatzbereiche Format, Stil, Klassifizierung Subtile Tonalität, Sicherheit, Ausrichtung
Erforderliche Daten 50+ Beispiele 50+ Präferenzpaare

Wann ist es sinnvoll, es zu verwenden?

DPO macht Sinn, wenn zunächst Nuancen eine Rolle spielen – das heißt, wenn der Unterschied zwischen einer guten und einer hervorragenden Antwort subtil ist. Zwei Antworten können beide korrekt, gut formatiert und höflich sein, doch nur eine entspricht dem, was Sie vermitteln möchten. Diese Unterscheidung lässt sich mit einem isolierten Beispiel nicht gut vermitteln, funktioniert aber perfekt mit einem Vergleich. Zudem wird es zum natürlichen Werkzeug, wenn Sie bestimmte Verhaltensweisen vermeiden möchten: Beim überwachten Feinabstimmung gibt es keine Möglichkeit, ein Gegenbeispiel auszudrücken, während DPO dem Modell explizit zeigt, was es nicht tun soll.

Als Nächstes kommen alles, was mit der Ausrichtung (Alignment) zu tun hat – Sicherheit, Compliance, Markenton – Bereiche, in denen akzeptable und problematische Formulierungen oft nur durch ein paar Wörter voneinander abweichen. Schließlich, wenn Ihre Teams bereits menschliche Präferenzen erstellt haben, beispielsweise Evaluatoren, die Antwort A gegen Antwort B bewertet haben, haben Sie Ihren DPO-Korpus ohne Aufbau: Diese Rangfolgen sind Ihre Paare.

Datenformat

Das Format verwendet die dpo-Methode und ersetzt das messages-Array durch drei Schlüssel: den gemeinsamen Kontext in input, gefolgt von den beiden verglichenen Ergebnissen. Beachten Sie unten, dass die nicht-bevorzugte Antwort nicht absurd ist – sie ist lediglich defensiv und beendet das Gespräch, während die bevorzugte Antwort die Einwendung anerkennt und einen nächsten Schritt vorschlägt.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "Sie sind ein professioneller Verkaufsassistent."
    },
    {
      "role": "user",
      "content": "Ihr Produkt ist zu teuer."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "Ich verstehe Ihre Bedenken bezüglich des Preises. Unsere Lösung umfasst Premium-Support, unbegrenzte Updates und eine Verfügbarkeitsgarantie von 99,9 %. Im Vergleich zu Alternativen, die diese Dienste separat berechnen, ist unser Preis-Leistungs-Verhältnis sehr wettbewerbsfähig. Darf ich Ihnen eine vergleichende Analyse zeigen?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "Es ist überhaupt nicht teuer, es ist der Marktpreis. Wenn Sie es sich nicht leisten können, haben wir ein Basispaket."
    }
  ]
}

Die Generierung der Datei folgt derselben Logik wie beim überwachten Feinabstimmung: Ein Paar pro Zeile, UTF-8-Kodierung, ensure_ascii=False. Die beiden Paare unten illustrieren denselben Präferenzkriterium in zwei verschiedenen Situationen, was genau das ist, was Sie über den gesamten Korpus hinweg erreichen möchten.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Freundlicher Kundensupport-Assistent."},
            {"role": "user", "content": "Ihr Service funktioniert nicht!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "Es tut mir leid für die Unannehmlichkeiten. Können Sie das Problem beschreiben, das Sie erleben? Ich werde mein Bestes tun, um es schnell zu lösen."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Es funktioniert für alle anderen gut. Haben Sie versucht, Ihren Computer neu zu starten?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Freundlicher Kundensupport-Assistent."},
            {"role": "user", "content": "Ich möchte eine Rückerstattung."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "Ich verstehe Ihre Anfrage. Können Sie mir Ihre Bestellnummer geben? Ich prüfe Ihre Berechtigung für eine Rückerstattung und leite Sie durch den Prozess."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Rückerstattungen sind nach 14 Tagen nicht möglich. Lesen Sie die AGB."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO-Datei erstellt: {len(pairs)} Paare")

Starten des Jobs

Der Upload ändert sich nicht; es ist der method-Parameter, der beim Erstellen des Jobs übergeben wird, der das Training in den DPO-Modus schaltet.

from openai import OpenAI

client = OpenAI()

# DPO-Datei hochladen
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Job mit DPO-Methode erstellen
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Steuert die Stärke der Präferenz
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO-Job: {job.id}")

Das beta steuert die Stärke der DPO-Regularisierung, also den Spielraum, den Sie dem Modell geben, von seinem ursprünglichen Verhalten abzuweichen. Ein niedriges beta zwischen 0,05 und 0,1 ermöglicht es dem Modell, sich weiter vom Basismodell zu entfernen, um Ihren Präferenzen zu folgen: Die Änderung ist spürbar, aber Sie riskieren, Eigenschaften mitzunehmen, die Sie nicht berühren wollten. Ein hohes beta zwischen 0,2 und 0,5 hält das Modell näher am Basismodell und erzeugt konservative Änderungen – die richtige Einstellung, wenn Sie eine Tonalitätsnuanz bei einem Modell korrigieren, das ansonsten zu Ihnen passt.

Erstellen nutzbarer Paare

Die Qualität eines DPO-Korpus wird eher an den nicht-bevorzugten Antworten als an den bevorzugten gemessen. Beide Antworten müssen plausibel sein: Wenn die nicht-bevorzugte Antwort absurd ist, lernt das Modell, Absurditäten zu vermeiden, was es ohnehin schon konnte, und Sie haben nichts gewonnen. Der Unterschied muss daher klar sein, ohne karikiert zu wirken, und sich auf das Kriterium konzentrieren, das Sie wirklich lehren möchten. Dann variieren Sie die abgedeckten Situationstypen, sonst wendet Ihr Modell die gelernte Präferenz nur auf einen Kontext und nur diesen an.

Konsistenz der Urteile ist die andere Hälfte der Arbeit und wird vor dem ersten Paar vorbereitet. Definieren Sie Ihre Präferenzkriterien explizit, lassen Sie mehrere Personen evaluieren und behalten Sie nur die Paare, auf denen sie sich einig sind – eine Uneinigkeit unter Evaluatoren signalisiert ein mehrdeutiges Paar, von dem das Modell nur ein widersprüchliches Signal ableiten wird. Schließlich halten Sie diese Kriterien schriftlich fest. Bei der nächsten Iteration, geleitet von anderen Reviewern, werden Sie auf derselben Grundlage urteilen, anstatt die Diskussion von vorne zu wiederholen.

Ein letzter Hinweis zur Reihenfolge der Methoden. Die effektivste Strategie besteht oft darin, nicht zu wählen: zuerst das überwachte Feinabstimmung, um das Grundformat und den Stil zu lehren, dann DPO auf dem bereits feinabgestimmten Modell angewendet, um seine Nuancen zu verfeinern. Jedes tut, was es am besten kann, in der Reihenfolge, die nützlich ist.

Kernaussagen

  • DPO lehrt das Modell, bestimmte Antworten gegenüber anderen vorzuziehen
  • Das Format verwendet bevorzugte/nicht-bevorzugte Paare
  • Der beta-Parameter steuert das Gleichgewicht zwischen Präferenzen und Stabilität
  • DPO ist ideal für Tonalitätsnuancen, Sicherheit und Ausrichtung
  • Die Kombination aus SFT und dann DPO liefert oft die besten Ergebnisse