Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

DPO (Direct Preference Optimization)

Lekcija 8 od 16 Posodobljeno 2. november 2026 Napredni
Na tej strani
  1. Kaj je DPO?
  2. Kdaj ga uporabiti?
  3. Oblika podatkov
  4. Zagon opravila
  5. Gradnja uporabnih parov
  6. Ključne ugotovitve

Posodobitev 2. novembra 2026 — Razpoložljivost fino uglaševanja. Samostojno fino uglaševanje podjetja OpenAI se postopno ukinja: od 7. maja 2026 organizacije, ki ga še niso uporabljale, ne morejo več ustvarjati opravil; od 2. julija morate v zadnjih 60 dneh uporabiti fino uglašen model; in od 6. januarja 2027 noben uporabnik ne bo mogel zagnati novih opravil. Že usposobljeni modeli ostanejo uporabni, dokler se njihov osnovni model ne umakne. Ta tečaj je še vedno koristen za razumevanje in izkoriščanje obstoječega modela; za nove projekte dajte prednost inženiringu pozivov, RAG in evalvacijam.

Kaj je DPO?

DPO (Direct Preference Optimization) je metoda fino uglaševanja, ki model nauči preferirati določene odgovore namesto drugih. Namesto da bi prikazali le pravilen odgovor, kot smo počeli doslej, predstavite par: preferiran odgovor in nepreferiran odgovor. Model se nauči maksimirati verjetnost prvega in hkrati minimizirati verjetnost drugega. Razlika je globlja, kot se zdi: pri nadzorovanem fino uglaševanju določite cilj; pri DPO določite mejo.

Vidiki Nadzorovano (SFT) DPO
Podatki Samo pravilen odgovor Par: preferiran + nepreferiran odgovor
Cilj Naučiti se posnemanja Naučiti se razlikovanja
Primeri uporabe Oblika, slog, klasifikacija Niansiran ton, varnost, usklajenost
Potrebni podatki 50+ primerov 50+ preferenčnih parov

Kdaj ga uporabiti?

DPO ima smisel najprej tam, kjer so pomembne nianse – torej ko je razlika med dobrim in odličnim odgovorom subtilna. Dva odgovora sta lahko oba točna, pravilno oblikovana in vljudna, vendar se le eden ujema s tem, kar želite sporočiti; ta razlika se z osamljenim primerom ne prenese dobro, deluje pa popolnoma s primerjavo. Postane tudi naravno orodje, ko želite preprečiti določena vedenja: nadzorovano fino uglaševanje nima načina za izražanje protiprimera, medtem ko DPO modelu eksplicitno pokaže, česa ne sme storiti.

Naslednje so vse zadeve, povezane z usklajenostjo – varnost, skladnost, ton blagovne znamke – področja, kjer se sprejemljiva in problematična formulacija pogosto razlikujeta le za nekaj besed. Nazadnje, če so vaša ekipa že izdelala človeške preference, na primer ocenjevalci, ki so rangirali odgovor A proti odgovoru B, imate svoj korpus za DPO, ne da bi ga morali graditi: ti rangi so vaši pari.

Oblika podatkov

Oblika uporablja metodo dpo in nadomesti polje messages s tremi ključi: skupni kontekst v input, nato pa dva primerjana izida. Spodaj opazite, da nepreferirani odgovor ni absurd – preprosto je defensiven in zapre pogovor, medtem ko preferirani prizna ugovor in predlaga naslednji korak.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Ustvarjanje datoteke sledi isti logiki kot pri nadzorovanem fino uglaševanju: en par na vrstico, kodiranje UTF-8, ensure_ascii=False. Dva spodnja para ponazarjata isto merilo preference, uporabljeno v dveh različnih situacijah, kar je točno tisto, kar želite doseči v celotnem korpusu.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Zagon opravila

Prenos se ne spremeni; parameter method, ki ga podate ob ustvarjanju opravila, preklopi usposabljanje v način DPO.

from openai import OpenAI

client = OpenAI()

# Upload the DPO file
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

Parameter beta nadzira moč regularizacije DPO, torej svobodo, ki jo daste modelu, da odstopa od svojega prvotnega vedenja. Nizka vrednost beta, med 0,05 in 0,1, omogoča modelu, da se bolj oddalji od osnovnega modela, da sledi vašim preferencam: sprememba je opazna, vendar tvegate, da s seboj potegnete lastnosti, ki jih niste nameravali spremeniti. Visoka vrednost beta, med 0,2 in 0,5, ohrani model bližje osnovnemu modelu in povzroči konzervativne spremembe – prava nastavitev, ko popravljate infleksijo tona pri modelu, ki vam sicer ustreza.

Gradnja uporabnih parov

Kakovost korpusa DPO se ocenjuje bolj na podlagi nepreferiranih odgovorov kot preferiranih. Oba odgovora morata biti verjetna: če je nepreferirani absurd, se model nauči izogibati absurdu, kar je že znal, in niste pridobili ničesar. Razlika mora biti torej jasna, a ne karikirana, in se osredotočati na merilo, ki ga res želite naučiti. Nato raznovrstite vrste obravnavanih situacij, sicer bo vaš model uporabljalo naučeno preferenco le v enem in edinem kontekstu.

Doslednost presoj je druga polovica dela in jo pripravite pred prvim parom. Eksplicitno določite svoja merila za preference, naj jih oceni več ljudi in obdržite le pare, pri katerih se strinjajo – nesoglasje med ocenjevalci signalizira dvoumen par, iz katerega bo model črpal le protisloven signal. Nazadnje, ta merila zapišite. Pri naslednji iteraciji, ki jo bodo vodili drugi recenzenti, boste sodili na isti podlagi, namesto da bi razpravo začeli znova.

Še zadnja opomba o zaporedju metod. Najučinkovitejša strategija pogosto sestoji iz tega, da ne izbirate: najprej nadzorovano fino uglaševanje, da naučite osnovno obliko in slog, nato DPO, uporabljen na že fino uglašenem modelu, da izpopolnite njegove nianse. Vsak opravi tisto, kar zna najbolje, v vrstnem redu, ki je koristen.

Ključne ugotovitve

  • DPO nauči model preferirati določene odgovore namesto drugih
  • Oblika uporablja pare preferiran/nepreferiran
  • Parameter beta nadzira ravnovesje med preferencami in stabilnostjo
  • DPO je idealen za nianse tona, varnost in usklajenost
  • Kombinacija SFT in nato DPO pogosto prinese najboljše rezultate