DPO (Direct Preference Optimization)
Na tejto strane
Aktualizácia z 2. novembra 2026 — Dostupnosť jemného doladenia. Služba vlastného jemného doladenia od OpenAI sa postupne ukončuje: od 7. mája 2026 organizácie, ktoré ju nikdy nepoužili, už nemôžu vytvárať nové úlohy; od 2. júla musíte mať použitý jemne doladený model za posledných 60 dní; a počnúc 6. januárom 2027 žiadny zákazník nebude môcť spustiť nové úlohy. Už natrénované modely zostávajú použiteľné až do vyradenia ich základného modelu. Tento kurz zostáva užitočný na pochopenie a využitie existujúceho modelu; pri nových projektoch uprednostnite inžinierstvo promptov, RAG a evaluácie.
Čo je DPO?
DPO (Direct Preference Optimization) je metóda jemného doladenia, ktorá učí model uprednostňovať určité odpovede pred inými. Namiesto toho, aby ste ukazovali len správnu odpoveď, ako sme to robili doteraz, predložíte pár: preferovanú odpoveď a nepreferovanú odpoveď. Model sa naučí maximalizovať pravdepodobnosť prvej a zároveň minimalizovať pravdepodobnosť druhej. Rozdiel je hlbší, než sa zdá: pri supervíznom jemnom doladení definujete cieľ; pri DPO definujete hranicu.
| Aspekt | Supervízne (SFT) | DPO |
|---|---|---|
| Dáta | Len správna odpoveď | Pár: preferovaná + nepreferovaná odpoveď |
| Cieľ | Naučiť sa napodobňovať | Naučiť sa rozlišovať |
| Prípady použitia | Formát, štýl, klasifikácia | Jemný tón, bezpečnosť, zarovnanie |
| Potrebné dáta | 50+ príkladov | 50+ párov preferencií |
Kedy ho použiť
DPO dáva zmysel predovšetkým vtedy, keď záleží na nuansách – teda keď je rozdiel medzi dobrou a vynikajúcou odpoveďou jemný. Dve odpovede môžu byť obe presné, dobre naformátované a zdvorilé, no len jedna zodpovedá tomu, čo chcete dodať; tento rozdiel sa pri izolovanom príklade neprenesie dobre, ale pri porovnaní funguje perfektne. Stáva sa tiež prirodzeným nástrojom, keď chcete predísť určitým správaniam: supervízne jemné doladenie nemá spôsob, ako vyjadriť protipríklad, zatiaľ čo DPO modelu explicitne ukazuje, čo robiť nemajú.
Ďalej prichádza na rad všetko súvisiace so zarovnaním – bezpečnosť, súlad s predpismi, tón značky – oblasti, kde sa akceptovateľné a problematické formulácie často líšia len o pár slov. Nakoniec, ak vaše tímy už vytvorili ľudské preferencie, napríklad hodnotitelia, ktorí zoradili odpoveď A oproti odpovedi B, máte svoj korpus pre DPO bez toho, aby ste ho museli budovať: tieto hodnotenia sú vašimi pármi.
Formát dát
Formát používa metódu dpo a nahrádza pole messages tromi kľúčmi: zdieľaný kontext v input a následne dva porovnávané výsledky. Všimnite si nižšie, že nepreferovaná odpoveď nie je absurdná – je jednoducho defenzívna a uzatvára konverzáciu, zatiaľ čo preferovaná uznáva námietku a navrhuje ďalší krok.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Generovanie súboru nasleduje rovnakú logiku ako pri supervíznom jemnom doladení: jeden pár na riadok, kódovanie UTF-8, ensure_ascii=False. Dva páry nižšie ilustrujú rovnaké kritérium preferencie aplikované na dve rôzne situácie, čo je presne to, čo chcete dosiahnuť v celom korpuse.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
Spustenie úlohy
Nahrávanie sa nemení; je to parameter method odovzdaný pri vytváraní úlohy, ktorý prepne tréning do režimu DPO.
from openai import OpenAI
client = OpenAI()
# Upload the DPO file
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Controls the strength of the preference
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
Parameter beta riadi silu regularizácie DPO, teda mieru voľnosti, ktorú dávate modelu odkloniť sa od jeho pôvodného správania. Nízke beta, medzi 0,05 a 0,1, umožňuje modelu viac sa vzialiť od základného modelu, aby nasledoval vaše preferencie: zmena je citeľná, ale riskujete, že so sebou vezmete aj kvality, ktoré ste nechceli meniť. Vysoké beta, medzi 0,2 a 0,5, udržiava model bližšie k základnému modelu a prináša konzervatívnejšie zmeny – správne nastavenie, keď opravujete inflexiu tónu na modeli, ktorý vám inak vyhovuje.
Budovanie použiteľných párov
Kvalita korpusu DPO sa posudzuje skôr podľa nepreferovaných odpovedí než podľa tých preferovaných. Obe odpovede musia byť vierohodné: ak je nepreferovaná absurdná, model sa naučí vyhýbať absurdite, čo už vedel robiť, a nič ste nezískali. Rozdiel musí byť preto jasný, no nie karikatúrny, a musí sa zamerať na kritérium, ktoré chcete skutočne naučiť. Následne variovať typy pokrytých situácií, inak bude váš model aplikovať naučenú preferenciu len na jeden kontext a žiadny iný.
Konzistentnosť úsudkov je druhou polovicou práce a pripravuje sa ešte pred vytvorením prvého páru. Explicitne definujte svoje kritériá preferencie, nechajte hodnotiť viacero ľudí a ponechajte si len páry, na ktorých sa zhodli – nezhoda medzi hodnotiteľmi signalizuje nejednoznačný pár, z ktorého model získa len protichodný signál. Nakoniec si tieto kritériá zapíšte. Pri ďalšej iterácii, ktorú povedú iní recenzenti, budete hodnotiť na rovnakom základe namiesto toho, aby ste diskusiu začínali odznova.
Ešte jedna poznámka k postupnosti metód. Najefektívnejšia stratégia často spočíva v tom, že si nevyberáte: najprv supervízne jemné doladenie na naučenie základného formátu a štýlu, potom DPO aplikované na už jemne doladený model na vypilovanie jeho nuáns. Každá metóda robí to, v čom je najlepšia, v poradí, ktoré je užitočné.
Kľúčové poznatky
- DPO učí model uprednostňovať určité odpovede pred inými
- Formát využíva páry preferovaná/nepreferovaná
- Parameter
betariadi rovnováhu medzi preferenciami a stabilitou - DPO je ideálne pre nuansy tónu, bezpečnosť a zarovnanie
- Kombinácia SFT a následne DPO často prináša najlepšie výsledky