Lähe põhisisu juurde
Eesti— Vali keel
Menüü

DPO (Direct Preference Optimization)

Õppetund 8 / 16 Värskendatud 2. november 2026 Edasijõudnutele
Sellel lehel
  1. Mis on DPO?
  2. Millal seda kasutada?
  3. Andmevorming
  4. Ülesande käivitamine
  5. Kasutatavate paaride loomine
  6. Peamised punktid

Uuendus 2. novembril 2026 — Peenhäälestuse kättesaadavus. OpenAI iseteeninduslik peenhäälestus on järk-järgult kasutuselt kõrvaldatav: alates 7. maist 2026 ei saa organisatsioonid, kes seda varem kasutanud pole, enam uusi ülesandeid luua; alates 2. juulist peab olema viimase 60 päeva jooksul kasutatud peenhäälestatud mudelit; ja alates 6. jaanuarist 2027 ei saa ükski klient uusi ülesandeid käivitada. Juba treenitud mudelid jäävad kasutatavaks kuni nende baasmudeli kasutuselt kõrvaldamiseni. See kursus on endiselt kasulik olemasoleva mudeli mõistmiseks ja rakendamiseks; uute projektide puhul eelista viisakujundust (prompt engineering), RAG-i ja hindamist.

Mis on DPO?

DPO (Direct Preference Optimization) on peenhäälestusmeetod, mis õpetab mudelit eelistama teatud vastuseid teistele. Seniste harjutuste asemel, kus näitasid ainult õiget vastust, esitad sa nüüd paari: eelistatud vastuse ja mitte-eelistatud vastuse. Mudel õpib maksimeerima esimese tõenäosust ja minimeerima teise oma. Erinevus on sügavam, kui esmapilgul paistab: juhendatud peenhäälestuses (SFT) määratled sihtmärgi; DPO puhul määratled piiri.

Aspekt Juhendatud (SFT) DPO
Andmed Ainult õige vastus Paar: eelistatud + mitte-eelistatud vastus
Eesmärk Õpib jäljendama Õpib eristama
Kasutusvaldkonnad Vorming, stiil, klassifitseerimine Peened toonid, turvalisus, joondamine
Vajalikud andmed 50+ näidet 50+ eelistuspaari

Millal seda kasutada?

DPO on mõttekas eelkõige siis, kui olulised on nüansid – ehk siis, kui hea ja suurepärase vastuse erinevus on peen. Kaks vastust võivad olla mõlemad täpsed, korrektses vormingus ja viisakad, ometi sobib ainult üks sinu edastatava sõnumiga; see eristus ei tule üksiku näitega hästi välja, kuid toimib laitmatult võrdluse korral. See muutub loomulikuks vahendiks ka siis, kui soovid vältida teatud käitumismustreid: juhendatud peenhäälestusel puudub võimalus väljendada vastunäidet, samas kui DPO näitab mudelile otseselt, mida mitte teha.

Järgmisena tulevad mängu kõik joondamisega seotud valdkonnad – turvalisus, nõuetele vastavus, brändi toon – alad, kus vastuvõetav ja problemaatiline sõnastus erinevad sageli vaid mõne sõna võrra. Lõpuks, kui sinu meeskonnad on juba koostanud inimlikke eelistusi, näiteks hindajad, kes järjestasid vastuse A vastuse B suhtes, on sul DPO korpuse valmis: need järjestused ongi sinu paarid.

Andmevorming

Vorming kasutab meetodit dpo ja asendab massiivi messages kolme võtmega: ühine kontekst võtmes input ning seejärel kaks võrreldavat tulemust. Pane tähele, et mitte-eelistatud vastus ei ole absurdne – see on lihtsalt kaitsev ja lõpetab vestluse, samas kui eelistatud tunnistab vastuväidet ja teeb ettepaneku järgmiseks sammuks.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Faili genereerimine järgib sama loogikat nagu juhendatud peenhäälestuse puhul: üks paar rea kohta, kodeering UTF-8, ensure_ascii=False. Allpool toodud kaks paari illustreerivad sama eelistuskriteeriumi rakendamist kahes erinevas olukorras, mis ongi see, mida sa kogu korpuse ulatuses saavutada soovid.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Ülesande käivitamine

Üleslaadimine ei muutu; see on parameeter method, mis edastatakse ülesande loomisel ja lülitab treenimise DPO režiimi.

from openai import OpenAI

client = OpenAI()

# Laadi DPO fail üles
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Loo ülesanne DPO meetodiga
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

Parameeter beta kontrollib DPO regulariseerimise tugevust, ehk vabadust, mille annad mudelile oma algsest käitumisest kõrvale kaldumiseks. Madal beta (vahemikus 0,05–0,1) võimaldab mudelil baasmudelist kaugemale liikuda, et järgida sinu eelistusi: muutus on märgatav, kuid riskid kaasa haarata omadusi, mida sa puutumata jätta tahtsid. Kõrge beta (vahemikus 0,2–0,5) hoiab mudeli baasmudelile lähemal ja tekitab konservatiivseid muutusi – õige seadistus siis, kui parandad tooni nüanssi mudelil, mis muus osas sulle sobib.

Kasutatavate paaride loomine

DPO korpuse kvaliteeti hinnatakse pigem mitte-eelistatud vastuste kui eelistatud vastuste põhjal. Mõlemad vastused peavad olema usutavad: kui mitte-eelistatud on absurdne, õpib mudel vältima absurdsust, mida ta niigi oskas, ja sa ei võida midagi. Erinevus peab seega olema selge, kuid mitte karikatuurlik, ning keskenduma kriteeriumile, mida sa tegelikult õpetada soovid. Seejärel varieeri käsitletavate olukordade tüüpe, vastasel juhul rakendab sinu mudel õpitud eelistust ainult ühes konkreetses kontekstis.

Otsuste järjepidevus on töö teine pool ja selle ettevalmistamine algab enne esimese paari loomist. Määratle oma eelistuskriteeriumid sõnaselgelt, lase neid hinnata mitmel inimesel ja säilita ainult need paarid, milles ollakse ühel meelel – hindajate lahkarvamus annab märku mitmetimõistetavast paarist, millest mudel ammutab üksnes vastuolulise signaali. Lõpuks pane need kriteeriumid kirjalikult fikseerima. Järgmisel iteratsioonil, mida viivad läbi teised ülevaatajad, hindate samade aluste põhjal, selle asemel et arutelu nullist uuesti alustada.

Viimane märkus meetodite järjestamise kohta. Kõige tõhusam strateegia seisneb sageli mitte valimises: esmalt juhendatud peenhäälestus, et õpetada põhivormingut ja stiili, seejärel DPO juba peenhäälestatud mudelile, et lihvida selle nüansse. Kumbki teeb seda, mida ta kõige paremini oskab, just selles järjekorras, mis on kasulik.

Peamised punktid

  • DPO õpetab mudelit eelistama teatud vastuseid teistele
  • Vorming kasutab eelistatud/mitte-eelistatud paare
  • Parameeter beta kontrollib tasakaalu eelistuste ja stabiilsuse vahel
  • DPO on ideaalne tooninüansside, turvalisuse ja joondamise jaoks
  • SFT ja seejärel DPO kombineerimine annab sageli parimaid tulemusi