DPO (Direct Preference Optimization)
Op deze pagina
Update 2 november 2026 — Beschikbaarheid van fine-tuning. De self-service fine-tuning van OpenAI wordt gefaseerd afgebouwd: sinds 7 mei 2026 kunnen organisaties die er nog nooit gebruik van hebben gemaakt geen taken meer aanmaken; sinds 2 juli moet u binnen de laatste 60 dagen een fine-getuned model hebben gebruikt; en vanaf 6 januari 2027 kan geen enkele klant nieuwe taken starten. Reeds getrainde modellen blijven bruikbaar totdat hun basismodel wordt stopgezet. Deze cursus blijft nuttig om een bestaand model te begrijpen en benutten; voor nieuwe projecten geeft u prioriteit aan prompt engineering, RAG en evaluaties.
Wat is DPO?
DPO (Direct Preference Optimization) is een fine-tuning-methode die een model leert bepaalde antwoorden te verkiezen boven andere. In plaats van alleen het juiste antwoord te tonen, zoals we tot nu toe hebben gedaan, toont u een paar: een geprefereerd antwoord en een niet-geprefereerd antwoord. Het model leert de waarschijnlijkheid van het eerste te maximaliseren en die van het tweede te minimaliseren. Het verschil gaat dieper dan het lijkt: bij supervised fine-tuning definieert u een doelwit; bij DPO definieert u een grens.
| Aspect | Supervised (SFT) | DPO |
|---|---|---|
| Gegevens | Alleen het juiste antwoord | Paar: geprefereerd + niet-geprefereerd antwoord |
| Doelstelling | Leren imiteren | Leren discrimineren |
| Use cases | Indeling, stijl, classificatie | Subtiele toon, veiligheid, afstemming |
| Vereiste gegevens | 50+ voorbeelden | 50+ preferentieparen |
Wanneer u het gebruikt
DPO is vooral zinvol wanneer nuances tellen, dat wil zeggen wanneer het verschil tussen een goed en een uitstekend antwoord subtiel is. Twee antwoorden kunnen beide accuraat, goed opgemaakt en beleefd zijn, maar slechts één komt overeen met wat u wilt overbrengen; dat onderscheid komt niet goed over met een geïsoleerd voorbeeld, maar werkt perfect met een vergelijking. Het wordt ook het natuurlijke hulpmiddel wanneer u bepaald gedrag wilt vermijden: supervised fine-tuning heeft geen manier om een tegenvoorbeeld uit te drukken, terwijl DPO het model expliciet toont wat het niet moet doen.
Daarna komt alles wat te maken heeft met afstemming: veiligheid, compliance, merktoon. Gebieden waar aanvaardbare en problematische formuleringen vaak slechts door een paar woorden van elkaar verschillen. Tot slot, als uw teams al menselijke preferenties hebben geproduceerd, bijvoorbeeld evaluatoren die antwoord A tegen antwoord B hebben gerangschikt, dan heeft u uw DPO-corpus zonder het te hoeven bouwen: die rangschikkingen zijn uw paren.
Gegevensindeling
De indeling gebruikt de methode dpo en vervangt de messages-array door drie sleutels: de gedeelde context in input, gevolgd door de twee vergeleken uitkomsten. Merk hieronder op dat het niet-geprefereerde antwoord niet absurd is; het is simpelweg defensief en sluit het gesprek af, terwijl het geprefereerde antwoord het bezwaar erkent en een volgende stap voorstelt.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Het genereren van het bestand volgt dezelfde logica als bij supervised fine-tuning: één paar per regel, UTF-8-codering, ensure_ascii=False. De twee onderstaande paren illustreren hetzelfde preferentiecriterium toegepast op twee verschillende situaties, wat precies is wat u over het hele corpus wilt bereiken.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
De taak starten
Het uploaden verandert niet; het is de parameter method die wordt doorgegeven bij het aanmaken van de taak, die de training overschakelt naar de DPO-modus.
from openai import OpenAI
client = OpenAI()
# Upload het DPO-bestand
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Maak de taak aan met de DPO-methode
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Controls the strength of the preference
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
De beta stuurt de sterkte van de DPO-regularisatie aan, dat wil zeggen de vrijheid die u het model geeft om af te wijken van zijn oorspronkelijke gedrag. Een lage beta, tussen 0,05 en 0,1, laat het model verder afwijken van het basismodel om uw preferenties te volgen: de verandering is merkbaar, maar u loopt het risico kwaliteiten mee te nemen die u niet wilde aantasten. Een hoge beta, tussen 0,2 en 0,5, houdt het model dichter bij het basismodel en produceert conservatieve wijzigingen; de juiste instelling wanneer u een tooninflectie corrigeert op een model dat u verder wel bevalt.
Bruikbare paren samenstellen
De kwaliteit van een DPO-corpus wordt meer beoordeeld op de niet-geprefereerde antwoorden dan op de geprefereerde. Beide antwoorden moeten plausibel zijn: als het niet-geprefereerde antwoord absurd is, leert het model absurditeit vermijden, wat het al kon, en heeft u niets gewonnen. Het verschil moet dus duidelijk zijn zonder karikaturaal te worden, en focussen op het criterium dat u echt wilt aanleren. Varieer vervolgens de soorten behandelde situaties, anders past uw model de aangeleerde preferentie toe op slechts één context.
Consistentie van oordelen is de andere helft van het werk, en dit bereidt u voor voordat het eerste paar wordt gemaakt. Definieer uw preferentiecriteria expliciet, laat meerdere personen evalueren en behoud alleen de paren waarover ze het eens zijn; een meningsverschil tussen evaluatoren signaleert een ambigu paar, waaruit het model slechts een tegenstrijdig signaal zal halen. Houd tot slot een schriftelijk overzicht bij van deze criteria. Bij de volgende iteratie, geleid door andere reviewers, oordeelt u op dezelfde basis in plaats van de discussie helemaal opnieuw te voeren.
Een laatste opmerking over het sequentiëren van methoden. De meest effectieve strategie bestaat er vaak in niet te kiezen: eerst supervised fine-tuning om de basisindeling en -stijl aan te leren, vervolgens DPO toegepast op het reeds fine-getuned model om de nuances te verfijnen. Elk doet wat het het beste kan, in de volgorde die nuttig is.
Belangrijkste punten
- DPO leert het model bepaalde antwoorden te verkiezen boven andere
- De indeling gebruikt geprefereerde/niet-geprefereerde paren
- De parameter
betaregelt de balans tussen preferenties en stabiliteit - DPO is ideaal voor toonnuances, veiligheid en afstemming
- Het combineren van SFT en vervolgens DPO levert vaak de beste resultaten op