Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

DPO (Direct Preference Optimization)

Paskaita 8 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Pažengusiems
Šiame puslapyje
  1. Kas yra DPO?
  2. Kada tai naudoti
  3. Duomenų formatas
  4. Užduoties paleidimas
  5. Naudingų porų kūrimas
  6. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 2 d. — Derinimo prieinamumas. „OpenAI“ savitarnos derinimo paslauga yra nutraukiama: nuo 2026 m. gegužės 7 d. organizacijos, kurios ja niekada nesinaudojo, nebegali kurti užduočių; nuo liepos 2 d. turite būti naudoję derintą modelį per pastaruosius 60 dienų; o nuo 2027 m. sausio 6 d. joks klientas nebegalės paleisti naujų užduočių. Jau apmokyti modeliai išlieka naudojami, kol jų bazinis modelis bus nutrauktas. Šis kursas išlieka naudingas norint suprasti ir išnaudoti esamą modelį; naujiems projektams teikite pirmenybę raginimų inžinerijai (prompt engineering), RAG ir vertinimams.

Kas yra DPO?

DPO (Direct Preference Optimization) yra derinimo metodas, kuris moko modelį teikti pirmenybę vieniems atsakymams prieš kitus. Užuot rodę tik teisingą atsakymą, kaip darėme iki šiol, pateikiate porą: pageidaujamą atsakymą ir nepageidaujamą atsakymą. Modelis mokosi maksimizuoti pirmojo tikimybę ir minimizuoti antrojo. Skirtumas yra gilesnis, nei atrodo: prižiūrimo derinimo (SFT) metu apibrėžiate tikslą; DPO atveju apibrėžiate ribą.

Aspektas Prižiūrimas (SFT) DPO
Duomenys Tik teisingas atsakymas Pora: pageidaujamas + nepageidaujamas atsakymas
Tikslas Mokytis imituoti Mokytis atskirti
Naudojimo atvejai Formatas, stilius, klasifikacija Subtilus tonas, saugumas, suderinimas
Reikalingi duomenys 50+ pavyzdžių 50+ pageidavimų porų

Kada tai naudoti

DPO pirmiausia turi prasmę, kai svarbios niuansai – tai yra, kai skirtumas tarp gero ir puikaus atsakymo yra subtilus. Du atsakymai gali būti tikslūs, tinkamai suformatuoti ir mandagūs, tačiau tik vienas atitinka tai, ką norite perteikti; šis skirtumas sunkiai perteikiamas pavieniu pavyzdžiu, bet puikiai veikia lyginant. Tai taip pat tampa natūraliu įrankiu, kai norite išvengti tam tikro elgesio: prižiūrimas derinimas neturi būdo išreikšti priešingo pavyzdžio, tuo tarpu DPO aiškiai parodo modeliui, ko nedaryti.

Kitas aspektas – viskas, kas susiję su suderinimu: saugumas, atitiktis reikalavimams, prekės ženklo tonas – sritys, kuriose priimtina ir probleminė frazuotė dažnai skiriasi tik keliais žodžiais. Galiausiai, jei jūsų komandos jau sukūrė žmonių pageidavimus, pavyzdžiui, vertintojai, kurie įvertino A atsakymą prieš B atsakymą, jau turite savo DPO korpusą be poreikio jį kurti: tie įvertinimai yra jūsų poros.

Duomenų formatas

Formatas naudoja dpo metodą ir pakeičia messages masyvą trimis raktais: bendrą kontekstą input, tada du lyginamus rezultatus. Žemiau pastebėkite, kad nepageidaujamas atsakymas nėra absurdiškas – jis tiesiog gynybiškas ir nutraukia pokalbį, tuo tarpu pageidaujamas pripažįsta prieštaravimą ir siūlo kitą žingsnį.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Failo generavimas vyksta pagal tą pačią logiką kaip ir prižiūrimo derinimo atveju: viena pora vienai eilutei, UTF-8 koduotė, ensure_ascii=False. Dvi žemiau pateiktos poros iliustruoja tą patį pageidavimo kriterijų, taikomą dviem skirtingoms situacijoms, būtent to ir siekiate visame korpuse.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Užduoties paleidimas

Įkėlimas nesikeičia; tai method parametras, perduodamas kuriant užduotį, kuris perjungia mokymą į DPO režimą.

from openai import OpenAI

client = OpenAI()

# Įkelkite DPO failą
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Sukurkite užduotį su DPO metodu
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

beta valdo DPO reguliarizacijos stiprumą, tai yra, laisvę, kurią suteikiate modeliui nukrypti nuo jo originalaus elgesio. Mažas beta, tarp 0,05 ir 0,1, leidžia modeliui labiau nutolti nuo bazinio modelio, kad sektų jūsų pageidavimus: pokytis pastebimas, tačiau rizikuojate prarasti savybes, kurių nenorėjote liesti. Didelis beta, tarp 0,2 ir 0,5, laiko modelį arčiau bazinio modelio ir sukuria konservatyvesnius pokyčius – tai tinkamas nustatymas, kai taisote tono niuansą modelyje, kuris kitu atveju jums tinka.

Naudingų porų kūrimas

DPO korpuso kokybė vertinama labiau pagal nepageidaujamus atsakymus nei pagal pageidaujamus. Abu atsakymai turi būti tikėtini: jei nepageidaujamas yra absurdiškas, modelis mokosi vengti absurdo, ką jau mokėjo daryti, ir nieko nelaimite. Todėl skirtumas turi būti aiškus, bet ne karikatūriškas, ir sutelktas į kriterijų, kurį iš tikrųjų norite išmokyti. Tada varyuokite aptariamų situacijų tipus, kitaip jūsų modelis taikys išmoktą pageidavimą tik vienam kontekstui ir niekam daugiau.

Vertinimų nuoseklumas yra kita darbo dalis, ir ji paruošiama prieš pirmąją porą. Aiškiai apibrėžkite savo pageidavimo kriterijus, leiskite keliems žmonėms atlikti vertinimą ir palikite tik tas poras, dėl kurių jie sutaria – vertintojų nesutarimas signalizuoja apie dviprasmišką porą, iš kurios modelis gaus tik prieštaringą signalą. Galiausiai, raštu užfiksuokite šiuos kriterijus. Kitame etape, kurį ves kiti recenzentai, vertinsite tuo pačiu pagrindu, užuot iš naujo pradėję diskusiją.

Dar viena pastaba dėl metodų sekos. Dažniausiai efektyviausia strategija yra ne rinktis vieną: pirmiausia prižiūrimas derinimas, siekiant išmokyti pagrindinio formato ir stiliaus, o tada DPO, taikomas jau derintam modeliui, siekiant patobulinti jo niuansus. Kiekvienas atlieka tai, ką moka geriausiai, tinkama tvarka.

Svarbiausi punktai

  • DPO moko modelį teikti pirmenybę vieniems atsakymams prieš kitus
  • Formatas naudoja pageidaujamo/nepageidaujamo poras
  • Parametras beta valdo pusiausvyrą tarp pageidavimų ir stabilumo
  • DPO idealiai tinka tono niuansams, saugumui ir suderinimui
  • SFT, o po to DPO derinimas dažnai duoda geriausius rezultatus