Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

DPO (Direct Preference Optimization)

8. lecke 16 közül Frissítve 2026. november 2. Haladó
Ezen az oldalon
  1. Mi az a DPO?
  2. Mikor érdemes használni?
  3. Adatformátum
  4. A feladat indítása
  5. Használható párok létrehozása
  6. Főbb megállapítások

Frissítés: 2026. november 2. – A finomhangolás elérhetősége. Az OpenAI saját ügyfél által kezelhető finomhangolási szolgáltatását fokozatosan megszüntetik: 2026. május 7. óta azok a szervezetek, amelyek még sosem használták, már nem hozhatnak létre új feladatokat; július 2. óta pedig az elmúlt 60 napban használnod kellett egy finomhangolt modellt. 2027. január 6-tól kezdve egyetlen ügyfél sem indíthat új feladatokat. A már betanított modellek addig használhatók maradnak, amíg az alapmodelljüket nyugdíjba nem vonják. Ez a tanfolyam továbbra is hasznos egy meglévő modell megértéséhez és kiaknázásához; új projektek esetén azonban a prompt mérnökséget, a RAG-ot és az értékeléseket érdemes előtérbe helyezni.

Mi az a DPO?

A DPO (Direct Preference Optimization, közvetlen preferencia-optimalizálás) egy olyan finomhangolási módszer, amely arra tanítja a modellt, hogy bizonyos válaszokat mások elé preferáljon. Ahelyett, hogy csak a helyes választ mutatnád meg – ahogy eddig tettük –, most egy párt adsz meg: egy előnyben részesített és egy nem előnyben részesített választ. A modell megtanulja maximalizálni az első, és minimalizálni a második valószínűségét. A különbség mélyebb, mint elsőre tűnik: a felügyelt finomhangolásnál (SFT) egy célt definiálsz; a DPO esetén viszont egy határvonalat húzol meg.

Szempont Felügyelt (SFT) DPO
Adatok Csak a helyes válasz Pár: előnyben részesített + nem előnyben részesített válasz
Célkitűzés Utánzás megtanulása Megkülönböztetés megtanulása
Alkalmazási területek Formátum, stílus, osztályozás Finom hangnem, biztonság, igazodás (alignment)
Szükséges adatmennyiség 50+ példa 50+ preferencia-pár

Mikor érdemes használni?

A DPO akkor van igazán értelme, ha a részletek számítanak – vagyis amikor a jó és a kiváló válasz közötti különbség finom. Két válasz is lehet pontos, jól formázott és udvarias, mégis csak az egyik felel meg annak, amit közvetíteni szeretnél; ezt a különbséget egyetlen elszigetelt példával nehéz átadni, de összehasonlítással tökéletesen működik. Ez lesz a természetes eszköz akkor is, ha bizonyos viselkedéseket el akarsz kerülni: a felügyelt finomhangolásnak nincs módja ellenpélda kifejezésére, míg a DPO expliciten megmutatja a modellnek, mit ne tegyen.

Ezt követi minden, ami az igazodással (alignment) kapcsolatos – biztonság, megfelelés, márka hangneme –, olyan területek, ahol az elfogadható és a problémás megfogalmazások gyakran csak néhány szóban térnek el. Végül, ha a csapataid már előálltak emberi preferenciákkal – például értékelők, akik az A választ a B válasz elé rangsorolták –, akkor már meg is van a DPO korpuszod anélkül, hogy fel kellett volna építened: ezek a rangsorolások maguk a párok.

Adatformátum

A formátum a dpo metódust használja, és a messages tömböt három kulcsra cseréli: a közös kontextus az input-ban, majd a két összehasonlított kimenetel. Az alábbiakban vedd észre, hogy a nem előnyben részesített válasz nem abszurd – csupán védekező és lezárja a beszélgetést –, míg az előnyben részesített elismeri az aggályt, és következő lépést javasol.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

A fájl generálása ugyanazt a logikát követi, mint a felügyelt finomhangolásnál: soronként egy pár, UTF-8 kódolás, ensure_ascii=False. Az alábbi két pár ugyanazt a preferencia-kritériumot illusztrálja két különböző helyzetben alkalmazva, ami pontosan azt jelenti, amit az egész korpuszban el szeretnél érni.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

A feladat indítása

A feltöltés nem változik; a method paraméter az, amit a feladat létrehozásakor adsz meg, és ez kapcsolja DPO módra a betanítást.

from openai import OpenAI

client = OpenAI()

# A DPO fájl feltöltése
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# A feladat létrehozása DPO metódussal
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Szabályozza a preferencia erősségét
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

A beta paraméter szabályozza a DPO regularizáció erősségét, vagyis azt a szabadságot, amit a modellnek adsz az eredeti viselkedésétől való eltérésre. Egy alacsony beta (0,05 és 0,1 között) lehetővé teszi, hogy a modell távolabb kerüljön az alapmodelltől, hogy kövesse a preferenciáidat: a változás észrevehető, de kockáztatod, hogy olyan tulajdonságokat is magával ragad, amelyeket nem akartál érinteni. Egy magas beta (0,2 és 0,5 között) közelebb tartja a modellt az alapmodellhez, és konzervatívabb változásokat eredményez – ez a helyes beállítás akkor, ha csak egy hangnembeli eltolódást korrigálsz egy egyébként megfelelő modellen.

Használható párok létrehozása

Egy DPO korpusz minőségét inkább a nem előnyben részesített válaszok alapján ítélik meg, mint az előnyben részesítettek alapján. Mindkét válasznak hihetőnek kell lennie: ha a nem előnyben részesített abszurd, a modell csak azt tanulja meg, hogy kerülje az abszurditást – amit már eddig is tudott –, és semmit sem nyertél. A különbségnek tehát egyértelműnek kell lennie anélkül, hogy karikatúra lenne, és arra a kritériumra kell fókuszálnia, amit igazán meg szeretnél tanítani. Ezután változatos helyzeteket fedj le, különben a modelled csak egyetlen kontextusra alkalmazza majd a megtanult preferenciát.

Az ítéletek konzisztenciája a munka másik fele, és ezt már az első pár előtt elő kell készíteni. Expliciten definiáld a preferencia-kritériumaidat, végeztess értékelést több személlyel, és csak azokat a párokat tartsd meg, amelyekben egyetértenek – az értékelők közötti egyet nem értés ambiguus párra utal, amiből a modell csak ellentmondásos jelet von le. Végül jegyezd fel írásban ezeket a kritériumokat. A következő iterációban, amit már más recenzensek végeznek, ugyanazon alapokon ítélkezhetsz, ahelyett, hogy elölről kezdenéd a vitát.

Egy utolsó megjegyzés a módszerek sorrendiségéről. A leghatékonyabb stratégia gyakran nem a választásból áll: először felügyelt finomhangolás, hogy megtanítsd az alapvető formátumot és stílust, majd DPO alkalmazása a már finomhangolt modellen a részletek csiszolására. Mindegyik azt csinálja, amiben a legjobb, abban a sorrendben, ahogy az hasznos.

Főbb megállapítások

  • A DPO arra tanítja a modellt, hogy bizonyos válaszokat mások elé preferáljon
  • A formátum előnyben részesített/nem_előnyben_reszesített párokat használ
  • A beta paraméter szabályozza az egyensúlyt a preferenciák és a stabilitás között
  • A DPO ideális a hangnem finomságaihoz, a biztonsághoz és az igazodáshoz (alignment)
  • Az SFT, majd a DPO kombinálása gyakran a legjobb eredményeket hozza