DPO (Direct Preference Optimization)
Ezen az oldalon
Frissítés: 2026. november 2. – A finomhangolás elérhetősége. Az OpenAI saját ügyfél által kezelhető finomhangolási szolgáltatását fokozatosan megszüntetik: 2026. május 7. óta azok a szervezetek, amelyek még sosem használták, már nem hozhatnak létre új feladatokat; július 2. óta pedig az elmúlt 60 napban használnod kellett egy finomhangolt modellt. 2027. január 6-tól kezdve egyetlen ügyfél sem indíthat új feladatokat. A már betanított modellek addig használhatók maradnak, amíg az alapmodelljüket nyugdíjba nem vonják. Ez a tanfolyam továbbra is hasznos egy meglévő modell megértéséhez és kiaknázásához; új projektek esetén azonban a prompt mérnökséget, a RAG-ot és az értékeléseket érdemes előtérbe helyezni.
Mi az a DPO?
A DPO (Direct Preference Optimization, közvetlen preferencia-optimalizálás) egy olyan finomhangolási módszer, amely arra tanítja a modellt, hogy bizonyos válaszokat mások elé preferáljon. Ahelyett, hogy csak a helyes választ mutatnád meg – ahogy eddig tettük –, most egy párt adsz meg: egy előnyben részesített és egy nem előnyben részesített választ. A modell megtanulja maximalizálni az első, és minimalizálni a második valószínűségét. A különbség mélyebb, mint elsőre tűnik: a felügyelt finomhangolásnál (SFT) egy célt definiálsz; a DPO esetén viszont egy határvonalat húzol meg.
| Szempont | Felügyelt (SFT) | DPO |
|---|---|---|
| Adatok | Csak a helyes válasz | Pár: előnyben részesített + nem előnyben részesített válasz |
| Célkitűzés | Utánzás megtanulása | Megkülönböztetés megtanulása |
| Alkalmazási területek | Formátum, stílus, osztályozás | Finom hangnem, biztonság, igazodás (alignment) |
| Szükséges adatmennyiség | 50+ példa | 50+ preferencia-pár |
Mikor érdemes használni?
A DPO akkor van igazán értelme, ha a részletek számítanak – vagyis amikor a jó és a kiváló válasz közötti különbség finom. Két válasz is lehet pontos, jól formázott és udvarias, mégis csak az egyik felel meg annak, amit közvetíteni szeretnél; ezt a különbséget egyetlen elszigetelt példával nehéz átadni, de összehasonlítással tökéletesen működik. Ez lesz a természetes eszköz akkor is, ha bizonyos viselkedéseket el akarsz kerülni: a felügyelt finomhangolásnak nincs módja ellenpélda kifejezésére, míg a DPO expliciten megmutatja a modellnek, mit ne tegyen.
Ezt követi minden, ami az igazodással (alignment) kapcsolatos – biztonság, megfelelés, márka hangneme –, olyan területek, ahol az elfogadható és a problémás megfogalmazások gyakran csak néhány szóban térnek el. Végül, ha a csapataid már előálltak emberi preferenciákkal – például értékelők, akik az A választ a B válasz elé rangsorolták –, akkor már meg is van a DPO korpuszod anélkül, hogy fel kellett volna építened: ezek a rangsorolások maguk a párok.
Adatformátum
A formátum a dpo metódust használja, és a messages tömböt három kulcsra cseréli: a közös kontextus az input-ban, majd a két összehasonlított kimenetel. Az alábbiakban vedd észre, hogy a nem előnyben részesített válasz nem abszurd – csupán védekező és lezárja a beszélgetést –, míg az előnyben részesített elismeri az aggályt, és következő lépést javasol.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
A fájl generálása ugyanazt a logikát követi, mint a felügyelt finomhangolásnál: soronként egy pár, UTF-8 kódolás, ensure_ascii=False. Az alábbi két pár ugyanazt a preferencia-kritériumot illusztrálja két különböző helyzetben alkalmazva, ami pontosan azt jelenti, amit az egész korpuszban el szeretnél érni.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
A feladat indítása
A feltöltés nem változik; a method paraméter az, amit a feladat létrehozásakor adsz meg, és ez kapcsolja DPO módra a betanítást.
from openai import OpenAI
client = OpenAI()
# A DPO fájl feltöltése
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# A feladat létrehozása DPO metódussal
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Szabályozza a preferencia erősségét
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
A beta paraméter szabályozza a DPO regularizáció erősségét, vagyis azt a szabadságot, amit a modellnek adsz az eredeti viselkedésétől való eltérésre. Egy alacsony beta (0,05 és 0,1 között) lehetővé teszi, hogy a modell távolabb kerüljön az alapmodelltől, hogy kövesse a preferenciáidat: a változás észrevehető, de kockáztatod, hogy olyan tulajdonságokat is magával ragad, amelyeket nem akartál érinteni. Egy magas beta (0,2 és 0,5 között) közelebb tartja a modellt az alapmodellhez, és konzervatívabb változásokat eredményez – ez a helyes beállítás akkor, ha csak egy hangnembeli eltolódást korrigálsz egy egyébként megfelelő modellen.
Használható párok létrehozása
Egy DPO korpusz minőségét inkább a nem előnyben részesített válaszok alapján ítélik meg, mint az előnyben részesítettek alapján. Mindkét válasznak hihetőnek kell lennie: ha a nem előnyben részesített abszurd, a modell csak azt tanulja meg, hogy kerülje az abszurditást – amit már eddig is tudott –, és semmit sem nyertél. A különbségnek tehát egyértelműnek kell lennie anélkül, hogy karikatúra lenne, és arra a kritériumra kell fókuszálnia, amit igazán meg szeretnél tanítani. Ezután változatos helyzeteket fedj le, különben a modelled csak egyetlen kontextusra alkalmazza majd a megtanult preferenciát.
Az ítéletek konzisztenciája a munka másik fele, és ezt már az első pár előtt elő kell készíteni. Expliciten definiáld a preferencia-kritériumaidat, végeztess értékelést több személlyel, és csak azokat a párokat tartsd meg, amelyekben egyetértenek – az értékelők közötti egyet nem értés ambiguus párra utal, amiből a modell csak ellentmondásos jelet von le. Végül jegyezd fel írásban ezeket a kritériumokat. A következő iterációban, amit már más recenzensek végeznek, ugyanazon alapokon ítélkezhetsz, ahelyett, hogy elölről kezdenéd a vitát.
Egy utolsó megjegyzés a módszerek sorrendiségéről. A leghatékonyabb stratégia gyakran nem a választásból áll: először felügyelt finomhangolás, hogy megtanítsd az alapvető formátumot és stílust, majd DPO alkalmazása a már finomhangolt modellen a részletek csiszolására. Mindegyik azt csinálja, amiben a legjobb, abban a sorrendben, ahogy az hasznos.
Főbb megállapítások
- A DPO arra tanítja a modellt, hogy bizonyos válaszokat mások elé preferáljon
- A formátum előnyben részesített/nem_előnyben_reszesített párokat használ
- A
betaparaméter szabályozza az egyensúlyt a preferenciák és a stabilitás között - A DPO ideális a hangnem finomságaihoz, a biztonsághoz és az igazodáshoz (alignment)
- Az SFT, majd a DPO kombinálása gyakran a legjobb eredményeket hozza