DPO (Direct Preference Optimization)
Na této stránce
Aktualizace 2. listopadu 2026 — Dostupnost jemného ladění. Služba vlastního jemného ladění od OpenAI je postupně ukončována: od 7. května 2026 nemohou organizace, které ji dosud nevyužívaly, vytvářet nové úlohy; od 2. července musíte mít model po jemném ladění nasazený alespoň jednou za posledních 60 dní; a počínaje 6. lednem 2027 nebude žádný zákazník schopen spustit nové úlohy. Již natrénované modely zůstávají použitelné až do vyřazení jejich základního modelu. Tento kurz je stále užitečný pro pochopení a využití stávajícího modelu; u nových projektů dejte přednost inženýrství promptů, RAG a evaluacím.
Co je DPO?
DPO (Direct Preference Optimization) je metoda jemného ladění, která učí model upřednostňovat určité odpovědi před jinými. Místo toho, abyste ukazovali pouze správnou odpověď, jak jsme dělali doposud, předkládáte pár: preferovanou odpověď a nepreferovanou odpověď. Model se učí maximalizovat pravděpodobnost té první a minimalizovat pravděpodobnost té druhé. Rozdíl je hlubší, než se zdá: při supervizovaném jemném ladění definujete cíl; u DPO definujete hranici.
| Aspekt | Supervizované (SFT) | DPO |
|---|---|---|
| Data | Pouze správná odpověď | Pár: preferovaná + nepreferovaná odpověď |
| Cíl | Naučit se napodobovat | Naučit se rozlišovat |
| Případy použití | Formát, styl, klasifikace | Jemný tón, bezpečnost, zarovnání |
| Potřebná data | 50+ příkladů | 50+ preferenčních párů |
Kdy jej použít
DPO dává smysl především tam, kde záleží na nuancích – tedy když je rozdíl mezi dobrou a vynikající odpovědí jemný. Obě odpovědi mohou být přesné, dobře naformátované a zdvořilé, přesto jen jedna odpovídá tomu, co chcete sdělit; tento rozdíl nepředáte dobře izolovaným příkladem, ale funguje perfektně při porovnání. Stává se také přirozeným nástrojem, když chcete určitá chování eliminovat: supervizované jemné ladění nemá způsob, jak vyjádřit protipříklad, zatímco DPO modelu explicitně ukazuje, co dělat nemůže.
Další oblastí je vše spojené se zarovnáním – bezpečnost, soulad s předpisy, tón značky – oblasti, kde se přijatelné a problematické formulace často liší jen několika slovy. Nakonec, pokud vaše týmy již vytvořily lidské preference, například hodnotitelé, kteří řadili odpověď A proti odpovědi B, máte své DPO korpus hotové, aniž byste ho museli budovat: tato hodnocení jsou vaše páry.
Formát dat
Formát využívá metodu dpo a nahrazuje pole messages třemi klíči: sdílený kontext v input a poté dva porovnávané výsledky. Všimněte si níže, že nepreferovaná odpověď není absurdní – je pouze defenzivní a ukončuje konverzaci, zatímco ta preferovaná uznává námitku a navrhuje další krok.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Generování souboru následuje stejnou logiku jako u supervizovaného jemného ladění: jeden pár na řádek, kódování UTF-8, ensure_ascii=False. Dva páry níže ilustrují stejné preferenční kritérium aplikované na dvě různé situace, což je přesně toho, čeho chcete v celém korpusu dosáhnout.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
Spuštění úlohy
Nahrávání se nemění; je to parametr method předaný při vytváření úlohy, který přepne trénink do režimu DPO.
from openai import OpenAI
client = OpenAI()
# Upload the DPO file
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Controls the strength of the preference
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
Parametr beta řídí sílu regularizace DPO, tedy míru volnosti, kterou dáváte modelu odklonit se od jeho původního chování. Nízká hodnota beta mezi 0,05 a 0,1 umožňuje modelu vzdálit se více od základního modelu, aby následoval vaše preference: změna je znatelná, ale riskujete, že s sebou vezmete i kvality, které jste nechtěli měnit. Vysoká hodnota beta mezi 0,2 a 0,5 udržuje model blíže základnímu modelu a přináší konzervativnější změny – správné nastavení, když opravujete zabarvení tónu u modelu, který vám jinak vyhovuje.
Budování použitelných párů
Kvalita korpusu DPO se posuzuje spíše podle nepreferovaných odpovědí než podle těch preferovaných. Obě odpovědi musí být věrohodné: pokud je ta nepreferovaná absurdní, model se naučí vyhýbat absurditě, což už uměl, a nic jste nezískali. Rozdíl musí být tedy jasný, ale ne karikovaný, a zaměřený na kritérium, které skutečně chcete naučit. Poté variujte typy pokrytých situací, jinak bude váš model aplikovat naučenou preferenci pouze na jeden kontext a žádný jiný.
Konzistence úsudků je druhou polovinou práce a připravuje se před vytvořením prvního páru. Explicitně definujte svá preferenční kritéria, nechte hodnotit více lidí a ponechte si pouze páry, na kterých se shodnou – neshoda mezi hodnotiteli signalizuje nejednoznačný pár, z něhož si model odnese pouze rozporuplný signál. Nakonec si tato kritéria písemně zaznamenejte. Při další iteraci, kterou povedou jiní recenzenti, budete hodnotit na stejném základě, místo abyste diskusi začínali od nuly.
Ještě jedna poznámka k sekvenování metod. Nejefektivnější strategií často není volba mezi nimi: nejprve supervizované jemné ladění pro naučení základního formátu a stylu, poté DPO aplikované na již jemně vyladěný model pro vytříbení jeho nuancí. Každá metoda dělá to, v čem je nejlepší, v pořadí, které dává smysl.
Klíčové poznatky
- DPO učí model upřednostňovat určité odpovědi před jinými
- Formát využívá páry preferovaná/nepreferovaná
- Parametr
betařídí rovnováhu mezi preferencemi a stabilitou - DPO je ideální pro nuance tónu, bezpečnost a zarovnání
- Kombinace SFT a následně DPO často přináší nejlepší výsledky