DPO (Direct Preference Optimization)
Šajā lapā
Atjauninājums 2026. gada 2. novembrī — Fine-tuning pieejamība. OpenAI pašapkalpošanās fine-tuning pakalpojums tiek pakāpeniski izslēgts: kopš 2026. gada 7. maija organizācijas, kas to nekad nav izmantojušas, vairs nevar izveidot uzdevumus; kopš 2. jūlija jums ir jābūt izmantojušam fine-tuned modeli pēdējo 60 dienu laikā; un sākot ar 2027. gada 6. janvāri, neviens klients nevarēs uzsākt jaunus uzdevumus. Jau apmācītie modeļi paliek lietojami, līdz tiek izslēgts to bāzes modelis. Šis kurss joprojām ir noderīgs, lai saprastu un izmantotu esošu modeli; jauniem projektiem dodiet priekšroku promptu inženierijai, RAG un novērtējumiem.
Kas ir DPO?
DPO (Direct Preference Optimization) ir fine-tuning metode, kas iemāca modelim dot priekšroku vienām atbildēm pār citām. Tā vietā, lai rādītu tikai pareizo atbildi, kā esam darījuši līdz šim, tu parādi pāri: vēlamu atbildi un nevēlamu atbildi. Modelis mācās maksimizēt pirmās varbūtību, vienlaikus minimizējot otrās. Atšķirība ir dziļāka, nekā šķiet: uzraudzītajā fine-tuning (SFT) tu definē mērķi; DPO gadījumā tu definē robežu.
| Aspekts | Uzraudzīts (SFT) | DPO |
|---|---|---|
| Dati | Tikai pareizā atbilde | Pāris: vēlama + nevēlama atbilde |
| Mērķis | Mācīties imitēt | Mācīties atšķirt |
| Lietošanas gadījumi | Formāts, stils, klasifikācija | Smalks tonis, drošība, saskaņošana |
| Nepieciešamie dati | 50+ piemēri | 50+ preferenču pāri |
Kad to izmantot
DPO ir jēga lietot vispirms tad, kad nozīme ir niansēm — proti, kad atšķirība starp labu un izcilu atbildi ir smalka. Abas atbildes var būt precīzas, labi noformētas un pieklājīgas, taču tikai viena atbilst tam, ko vēlies nodot; šī atšķirība neizpaužas labi, izmantojot izolētu piemēru, bet darbojas perfekti ar salīdzinājumu. Tas kļūst arī par dabisko rīku, kad vēlies izvairīties no noteiktas uzvedības: uzraudzītajam fine-tuning nav veida, kā izteikt pretstatu, turpretī DPO tieši parāda modelim, ko nedarīt.
Tālāk seko viss, kas saistīts ar saskaņošanu — drošība, atbilstība prasībām, zīmola tonis — jomas, kurās pieņemama un problemātiska formulējuma atšķirība bieži slēpjas tikai dažos vārdos. Visbeidzot, ja tavas komandas jau ir sagatavojušas cilvēku preferences, piemēram, vērtētāji, kas rangējuši A atbildi pret B atbildi, tev jau ir DPO korpuss, neveidojot to no jauna: šie rangējumi ir tavi pāri.
Datu formāts
Formāts izmanto dpo metodi un aizstāj messages masīvu ar trim atslēgām: kopīgo kontekstu input, kam seko divi salīdzināmie rezultāti. Ņem vērā zemāk, ka nevēlamā atbilde nav absurda — tā vienkārši ir aizsardzības pozīcijā un pārtrauc sarunu, turpretī vēlamā atzīst iebildumu un piedāvā nākamo soli.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Faila ģenerēšana seko tai pašai loģikai kā uzraudzītajam fine-tuning: viens pāris rindiņā, UTF-8 kodējums, ensure_ascii=False. Divi zemāk esošie pāri ilustrē vienu un to pašu preferenču kritēriju, kas piemērots divām dažādām situācijām, kas ir tieši tas, ko vēlies sasniegt visā korpusā.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
Uzdevuma uzsākšana
Augšupielāde nemainās; tas ir parametrs method, kas tiek nodots, izveidojot uzdevumu, kas pārslēdz apmācību uz DPO režīmu.
from openai import OpenAI
client = OpenAI()
# Augšupielādē DPO failu
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Izveido uzdevumu ar DPO metodi
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Controls the strength of the preference
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
Parametrs beta kontrolē DPO regularizācijas stiprumu, proti, brīvību, ko dod modelim novirzīties no tā sākotnējās uzvedības. Zems beta (starp 0,05 un 0,1) ļauj modelim attālināties tālāk no bāzes modeļa, lai sekotu tavām preferencēm: izmaiņas ir pamanāmas, taču pastāv risks piesaistīt arī īpašības, kuras neplānoji mainīt. Augsts beta (starp 0,2 un 0,5) notur modeli tuvāk bāzes modelim un rada konservatīvākas izmaiņas — pareizais iestatījums, ja labo toņa niansi modelī, kas citādi tev der.
Lietojamu pāru veidošana
DPO korpusa kvalitāti vērtē vairāk pēc nevēlamajām atbildēm nekā pēc vēlamajām. Abām atbildēm jābūt ticamām: ja nevēlamā ir absurda, modelis mācās izvairīties no absurda, ko tas jau prata darīt, un tu neesi guvis nekādu labumu. Atšķirībai tādēļ jābūt skaidrai, bet ne karikatūrai, un jāfokusējas uz kritēriju, ko tiešām vēlies iemācīt. Tad variē aptverto situāciju veidus, pretējā gadījumā tavs modelis piemēros iemācīto preferenci tikai vienam kontekstam un nevienam citam.
Spriedumu konsekvence ir otra darba puse, un tā jāsagatavo pirms pirmā pāra izveides. Skaidri definē savus preferenču kritērijus, liec vairākiem cilvēkiem veikt novērtējumu un paturi tikai tos pārus, par kuriem viņi vienojas — vērtētāju nesaskaņas liecina par neskaidru pāri, no kura modelis iegūs tikai pretrunīgu signālu. Visbeidzot, saglabā šo kritēriju rakstisku reģistru. Nākamajā iterācijā, ko vadīs citi recenzenti, jūs spriedīsiet, balstoties uz to pašu pamatu, nevis sāksiet diskusiju no jauna.
Viens pēdējais komentārs par metožu secību. Visefektīvākā stratēģija bieži vien sastāv no tā, ka neizvēlas: vispirms uzraudzītais fine-tuning, lai iemācītu pamatformātu un stilu, tad DPO, kas tiek piemērots jau fine-tuned modelim, lai pilnveidotu tā nianses. Katrs dara to, ko prot vislabāk, secībā, kas ir noderīga.
Galvenās atziņas
- DPO iemāca modelim dot priekšroku vienām atbildēm pār citām
- Formāts izmanto vēlamu/nevēlamu pārus
- Parametrs
betakontrolē līdzsvaru starp preferencēm un stabilitāti - DPO ir ideāls toņa niansēm, drošībai un saskaņošanai
- SFT un pēc tam DPO kombinēšana bieži dod vislabākos rezultātus