Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

DPO (Direct Preference Optimization)

Oppitunti 8 / 16 Päivitetty 2. marraskuuta 2026 Edistynyt
Tällä sivulla
  1. Mikä on DPO?
  2. Milloin sitä kannattaa käyttää?
  3. Datan muoto
  4. Tehtävän käynnistäminen
  5. Käyttökelpoisten parien rakentaminen
  6. Keskeiset asiat

Päivitys 2. marraskuuta 2026 — Hienosäädön saatavuus. OpenAI:n itsepalveluhienosäätö on poistumassa: 7. toukokuuta 2026 lähtien organisaatiot, jotka eivät ole koskaan käyttäneet sitä, eivät voi enää luoda tehtäviä; 2. heinäkuuta lähtien sinun on täytynyt käyttää hienosäädettyä mallia viimeisen 60 päivän aikana; ja 6. tammikuuta 2027 alkaen mikään asiakas ei voi käynnistää uusia tehtäviä. Jo koulutetut mallit pysyvät käytössä, kunnes niiden pohjamalli poistetaan käytöstä. Tämä kurssi on edelleen hyödyllinen olemassa olevan mallin ymmärtämiseen ja hyödyntämiseen; uusissa projekteissa priorisoi kehotetekniikkaa, RAG:ia ja arviointeja.

Mikä on DPO?

DPO (Direct Preference Optimization) on hienosäätömenetelmä, joka opettaa mallia suosimaan tiettyjä vastauksia muiden sijaan. Sen sijaan, että näyttäisit vain oikean vastauksen kuten tähän asti, näytät parin: ensisijaisen vastauksen ja ei-toivotun vastauksen. Malli oppii maksimoimaan ensimmäisen todennäköisyyttä ja minimoimaan toisen. Ero on syvällisempi kuin miltä se näyttää: valvotussa hienosäädössä määrität tavoitteen; DPO:ssa määrität rajan.

Näkökohta Valvottu (SFT) DPO
Data Vain oikea vastaus Pari: ensisijainen + ei-toivottu vastaus
Tavoite Oppia jäljittelemään Oppia erottamaan
Käyttökohteet Muotoilu, tyyli, luokittelu Hienovarainen sävy, turvallisuus, linjaus
Vaadittava data 50+ esimerkkiä 50+ preferenssiparia

Milloin sitä kannattaa käyttää?

DPO on järkevä valinta ensisijaisesti silloin, kun vivahteet ratkaisevat – eli kun eron hyvän ja erinomaisen vastauksen välillä on hienovarainen. Kaksi vastausta voi olla molemmat tarkkoja, hyvin muotoiltuja ja kohteliaita, mutta vain toinen vastaa sitä, mitä haluat välittää; tämä ero ei välity hyvin yksittäisellä esimerkillä, mutta toimii täydellisesti vertailun avulla. Se on myös luonteva työkalu, kun haluat välttää tiettyjä käyttäytymismalleja: valvotussa hienosäädössä ei ole tapaa ilmaista vastaesimerkkiä, kun taas DPO näyttää mallille nimenomaisesti, mitä ei tule tehdä.

Seuraavaksi tulevat kaikki linjaukseen liittyvät asiat – turvallisuus, vaatimustenmukaisuus, brändin sävy – alueet, joissa hyväksyttävä ja ongelmallinen sanamuoto eroavat usein vain muutamalla sanalla. Lopuksi, jos tiimisi ovat jo tuottaneet ihmisten preferenssejä, esimerkiksi arvioijat, jotka ovat asettaneet vastauksen A paremmaksi kuin vastaus B, sinulla on DPO-korpusesi valmiina ilman sen rakentamista: nuo sijoitukset ovat pairsi.

Datan muoto

Muoto käyttää dpo-metodia ja korvaa messages-taulukon kolmella avaimella: jaettu konteksti kohdassa input, followed by kaksi verrattavaa lopputulosta. Huomaa alla, että ei-toivottu vastaus ei ole absurdi – se on yksinkertaisesti puolustautuva ja sulkee keskustelun, kun taas ensisijainen myöntää vastaväitteen ja ehdottaa seuraavaa askelta.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Tiedoston generointi noudattaa samaa logiikkaa kuin valvotussa hienosäädössä: yksi pari riviä kohden, UTF-8-koodaus, ensure_ascii=False. Alla olevat kaksi paria havainnollistavat samaa preferenssikriteeriä, jota sovelletaan kahteen eri tilanteeseen, mikä on juuri sitä, mitä haluat saavuttaa koko korpuksessa.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Tehtävän käynnistäminen

Lataus ei muutu; se on method-parametri, joka välitetään tehtävää luotaessa ja joka vaihtaa koulutuksen DPO-tilaan.

from openai import OpenAI

client = OpenAI()

# Upload the DPO file
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

beta ohjaa DPO-säännöstelyn voimakkuutta, eli vapautta, jonka annat mallille poiketa alkuperäisestä käyttäytymisestään. Matala beta, välillä 0,05–0,1, antaa mallin siirtyä kauemmas pohjamallista seuratakseen preferenssejäsi: muutos on havaittava, mutta riskinä on viedä mukana laatuja, joita et tarkoittanut koskea. Korkea beta, välillä 0,2–0,5, pitää mallin lähempänä pohjamallia ja tuottaa konservatiivisia muutoksia – oikea asetus, kun korjaat sävyn vivahdetta mallissa, joka muuten sopii tarpeisiisi.

Käyttökelpoisten parien rakentaminen

DPO-korpuksen laatu arvioidaan enemmän ei-toivottujen vastausten kuin ensisijaisten vastausten perusteella. Molempien vastausten on oltava uskottavia: jos ei-toivottu on absurdi, malli oppii välttämään absurdia, minkä se jo osasi tehdä, etkä ole hyötynyt mitään. Eron on siis oltava selkeä ilman karikatyyrimäisyyttä ja keskityttävä kriteeriin, jonka todella haluat opettaa. Vaihtele sitten käsiteltyjen tilanteiden tyyppejä, muuten mallisi soveltaa opittua preferenssiä vain yhteen kontekstiin ja ainoastaan siihen.

Arviointien johdonmukaisuus on työn toinen puolisko, ja se valmistellaan ennen ensimmäistä paria. Määrittele preferenssikriteerisi nimenomaisesti, pyydä useita henkilöitä arvioimaan ja pidä vain ne parit, joista he ovat samaa mieltä – arvioijien erimielisyys signaloi monitulkintaista paria, josta malli vetää vain ristiriitaista signaalia. Lopuksi, pidä kirjallista kirjaa näistä kriteereistä. Seuraavalla iteratiolla, jonka suorittavat muut tarkastajat, arvioit samojen perusteiden pohjalta sen sijaan, että kävisit keskustelun alusta uudelleen.

Viimeinen huomautus menetelmien sekvensoinnista. Tehokkain strategia koostuu usein siitä, ettei valita: ensin valvottu hienosäätö perusmuodon ja tyylin opettamiseksi, sitten DPO jo hienosäädettyyn malliin sovellettuna sen vivahteiden hiomiseksi. Kumpikin tekee sen, missä se on paras, siinä järjestyksessä, joka on hyödyllinen.

Keskeiset asiat

  • DPO opettaa mallia suosimaan tiettyjä vastauksia muiden sijaan
  • Muoto käyttää ensisijainen/ei-toivottu -pareja
  • beta-parametri ohjaa tasapainoa preferenssien ja vakauden välillä
  • DPO on ihanteellinen sävyn vivahteille, turvallisuudelle ja linjaukselle
  • SFT:n ja sen jälkeen DPO:n yhdistäminen tuottaa usein parhaat tulokset