DPO (Direct Preference Optimization)
På denne side
Opdatering 2. november 2026 — Tilgængelighed af fine-tuning. OpenAIs selvbetjente fine-tuning udfases: Siden 7. maj 2026 kan organisationer, der aldrig har brugt tjenesten, ikke længere oprette jobs; siden 2. juli skal du have brugt en fine-tunet model inden for de sidste 60 dage; og fra 6. januar 2027 vil ingen kunde kunne starte nye jobs. Allerede trænede modeller forbliver brugbare, indtil deres basismodel udgår. Dette kursus er stadig nyttigt for at forstå og udnytte en eksisterende model; til nye projekter bør du prioritere prompt engineering, RAG og evalueringer.
Hvad er DPO?
DPO (Direct Preference Optimization) er en fine-tuning-metode, der lærer en model at foretrække visse svar frem for andre. I stedet for kun at vise det korrekte svar, som vi har gjort hidtil, viser du et par: et foretrukket svar og et ikke-foretrukket svar. Modellen lærer at maksimere sandsynligheden for det første og minimere sandsynligheden for det andet. Forskellen går dybere, end den ser ud: Ved superviseret fine-tuning definerer du et mål; ved DPO definerer du en grænse.
| Aspekt | Superviseret (SFT) | DPO |
|---|---|---|
| Data | Kun korrekt svar | Par: foretrukket + ikke-foretrukket svar |
| Mål | Lære at efterligne | Lære at skelne |
| Anvendelsestilfælde | Format, stil, klassificering | Subtil tone, sikkerhed, alignment |
| Påkrævede data | 50+ eksempler | 50+ præferencepar |
Hvornår skal du bruge det?
DPO giver først mening, når nuancer betyder noget – det vil sige, når forskellen mellem et godt og et fremragende svar er subtil. To svar kan begge være nøjagtige, velformaterede og høflige, men kun det ene matcher det, du ønsker at levere; den distinktion kommer ikke tydeligt frem med et isoleret eksempel, men fungerer perfekt med en sammenligning. Det bliver også det naturlige værktøj, når du vil undgå bestemte adfærdsmønstre: superviseret fine-tuning har ingen måde at udtrykke et mod-eksempel på, hvorimod DPO eksplicit viser modellen, hvad den ikke skal gøre.
Dernæst kommer alt, der relaterer sig til alignment – sikkerhed, overholdelse af regler, brand-tone – områder, hvor acceptabel og problematisk formulering ofte kun adskiller sig med få ord. Endelig, hvis dine teams allerede har produceret menneskelige præferencer, for eksempel evalueringer, der har rangeret svar A mod svar B, så har du dit DPO-korpus uden at skulle bygge det: disse rangeringer er dine par.
Dataformat
Formatet bruger metoden dpo og erstatter messages-arrayet med tre nøgler: den delte kontekst i input, efterfulgt af de to sammenlignede resultater. Bemærk nedenfor, at det ikke-foretrukne svar ikke er absurd – det er blot defensivt og lukker samtalen, hvorimod det foretrukne anerkender indvendingen og foreslår et næste skridt.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Generering af filen følger den samme logik som ved superviseret fine-tuning: ét par pr. linje, UTF-8-kodning, ensure_ascii=False. De to par nedenfor illustrerer det samme præferenciekriterium anvendt på to forskellige situationer, hvilket er præcis det, du ønsker at opnå på tværs af hele korpusset.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
Start af jobbet
Selve uploadet ændrer sig ikke; det er parameteren method, der sendes ved oprettelse af jobbet, som skifter træningen til DPO-tilstand.
from openai import OpenAI
client = OpenAI()
# Upload DPO-filen
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Opret jobbet med DPO-metoden
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Styrer styrken af præferencen
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
beta styrer styrken af DPO-regulariseringen, det vil sige den frihed, du giver modellen til at afvige fra sin oprindelige adfærd. En lav beta, mellem 0,05 og 0,1, tillader modellen at bevæge sig længere væk fra basismodellen for at følge dine præferencer: ændringen er mærkbar, men du risikerer at miste kvaliteter, du ikke havde til hensigt at røre ved. En høj beta, mellem 0,2 og 0,5, holder modellen tættere på basismodellen og producerer konservative ændringer – den rigtige indstilling, når du korrigerer en toneinfleksion på en model, der ellers passer dig.
Opbygning af brugbare par
Kvaliteten af et DPO-korpus bedømmes mere på de ikke-foretrukne svar end på de foretrukne. Begge svar skal være plausible: Hvis det ikke-foretrukne er absurd, lærer modellen kun at undgå absurditet, hvilket den allerede vidste hvordan, og du har ikke vundet noget. Forskellen skal derfor være klar uden at være karikeret og fokusere på det kriterium, du virkelig ønsker at lære. Varier derefter typerne af dækkede situationer, ellers vil din model anvende den lærte præference på én og kun én kontekst.
Konsistens i vurderinger er den anden halvdel af arbejdet, og det forberedes før det første par. Definer eksplicit dine præferenciekriterier, lad flere personer evaluere, og behold kun de par, som de er enige om – en uenighed blandt evalueringer signalerer et tvetydigt par, hvorfra modellen kun vil trække et modstridende signal. Hold endelig en skriftlig oversigt over disse kriterier. Ved næste iteration, ledet af andre anmeldere, vil du dømme på samme grundlag i stedet for at genstarte diskussionen fra bunden.
En sidste bemærkning om sekventiering af metoder. Den mest effektive strategi består ofte i ikke at vælge: først superviseret fine-tuning for at lære det grundlæggende format og den grundlæggende stil, derefter DPO anvendt på den allerede fine-tunede model for at forfine dens nuancer. Hver gør det, den er bedst til, i den rækkefølge, der er nyttig.
Vigtige pointer
- DPO lærer modellen at foretrække visse svar frem for andre
- Formatet bruger foretrukket/ikke-foretrukket par
- Parameteren
betastyrer balancen mellem præferencer og stabilitet - DPO er ideel til tonenuancer, sikkerhed og alignment
- Kombinationen af SFT efterfulgt af DPO giver ofte de bedste resultater