Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

DPO (Direct Preference Optimization)

Lekce 8 z 16 Aktualizováno 2. listopadu 2026 Pokročilý
Na této stránce
  1. Co je DPO?
  2. Kdy jej použít
  3. Formát dat
  4. Spuštění úlohy
  5. Budování použitelných párů
  6. Klíčové poznatky

Aktualizace 2. listopadu 2026 — Dostupnost jemného ladění. Služba vlastního jemného ladění od OpenAI je postupně ukončována: od 7. května 2026 nemohou organizace, které ji dosud nevyužívaly, vytvářet nové úlohy; od 2. července musíte mít model po jemném ladění nasazený alespoň jednou za posledních 60 dní; a počínaje 6. lednem 2027 nebude žádný zákazník schopen spustit nové úlohy. Již natrénované modely zůstávají použitelné až do vyřazení jejich základního modelu. Tento kurz je stále užitečný pro pochopení a využití stávajícího modelu; u nových projektů dejte přednost inženýrství promptů, RAG a evaluacím.

Co je DPO?

DPO (Direct Preference Optimization) je metoda jemného ladění, která učí model upřednostňovat určité odpovědi před jinými. Místo toho, abyste ukazovali pouze správnou odpověď, jak jsme dělali doposud, předkládáte pár: preferovanou odpověď a nepreferovanou odpověď. Model se učí maximalizovat pravděpodobnost té první a minimalizovat pravděpodobnost té druhé. Rozdíl je hlubší, než se zdá: při supervizovaném jemném ladění definujete cíl; u DPO definujete hranici.

Aspekt Supervizované (SFT) DPO
Data Pouze správná odpověď Pár: preferovaná + nepreferovaná odpověď
Cíl Naučit se napodobovat Naučit se rozlišovat
Případy použití Formát, styl, klasifikace Jemný tón, bezpečnost, zarovnání
Potřebná data 50+ příkladů 50+ preferenčních párů

Kdy jej použít

DPO dává smysl především tam, kde záleží na nuancích – tedy když je rozdíl mezi dobrou a vynikající odpovědí jemný. Obě odpovědi mohou být přesné, dobře naformátované a zdvořilé, přesto jen jedna odpovídá tomu, co chcete sdělit; tento rozdíl nepředáte dobře izolovaným příkladem, ale funguje perfektně při porovnání. Stává se také přirozeným nástrojem, když chcete určitá chování eliminovat: supervizované jemné ladění nemá způsob, jak vyjádřit protipříklad, zatímco DPO modelu explicitně ukazuje, co dělat nemůže.

Další oblastí je vše spojené se zarovnáním – bezpečnost, soulad s předpisy, tón značky – oblasti, kde se přijatelné a problematické formulace často liší jen několika slovy. Nakonec, pokud vaše týmy již vytvořily lidské preference, například hodnotitelé, kteří řadili odpověď A proti odpovědi B, máte své DPO korpus hotové, aniž byste ho museli budovat: tato hodnocení jsou vaše páry.

Formát dat

Formát využívá metodu dpo a nahrazuje pole messages třemi klíči: sdílený kontext v input a poté dva porovnávané výsledky. Všimněte si níže, že nepreferovaná odpověď není absurdní – je pouze defenzivní a ukončuje konverzaci, zatímco ta preferovaná uznává námitku a navrhuje další krok.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Generování souboru následuje stejnou logiku jako u supervizovaného jemného ladění: jeden pár na řádek, kódování UTF-8, ensure_ascii=False. Dva páry níže ilustrují stejné preferenční kritérium aplikované na dvě různé situace, což je přesně toho, čeho chcete v celém korpusu dosáhnout.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Spuštění úlohy

Nahrávání se nemění; je to parametr method předaný při vytváření úlohy, který přepne trénink do režimu DPO.

from openai import OpenAI

client = OpenAI()

# Upload the DPO file
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

Parametr beta řídí sílu regularizace DPO, tedy míru volnosti, kterou dáváte modelu odklonit se od jeho původního chování. Nízká hodnota beta mezi 0,05 a 0,1 umožňuje modelu vzdálit se více od základního modelu, aby následoval vaše preference: změna je znatelná, ale riskujete, že s sebou vezmete i kvality, které jste nechtěli měnit. Vysoká hodnota beta mezi 0,2 a 0,5 udržuje model blíže základnímu modelu a přináší konzervativnější změny – správné nastavení, když opravujete zabarvení tónu u modelu, který vám jinak vyhovuje.

Budování použitelných párů

Kvalita korpusu DPO se posuzuje spíše podle nepreferovaných odpovědí než podle těch preferovaných. Obě odpovědi musí být věrohodné: pokud je ta nepreferovaná absurdní, model se naučí vyhýbat absurditě, což už uměl, a nic jste nezískali. Rozdíl musí být tedy jasný, ale ne karikovaný, a zaměřený na kritérium, které skutečně chcete naučit. Poté variujte typy pokrytých situací, jinak bude váš model aplikovat naučenou preferenci pouze na jeden kontext a žádný jiný.

Konzistence úsudků je druhou polovinou práce a připravuje se před vytvořením prvního páru. Explicitně definujte svá preferenční kritéria, nechte hodnotit více lidí a ponechte si pouze páry, na kterých se shodnou – neshoda mezi hodnotiteli signalizuje nejednoznačný pár, z něhož si model odnese pouze rozporuplný signál. Nakonec si tato kritéria písemně zaznamenejte. Při další iteraci, kterou povedou jiní recenzenti, budete hodnotit na stejném základě, místo abyste diskusi začínali od nuly.

Ještě jedna poznámka k sekvenování metod. Nejefektivnější strategií často není volba mezi nimi: nejprve supervizované jemné ladění pro naučení základního formátu a stylu, poté DPO aplikované na již jemně vyladěný model pro vytříbení jeho nuancí. Každá metoda dělá to, v čem je nejlepší, v pořadí, které dává smysl.

Klíčové poznatky

  • DPO učí model upřednostňovat určité odpovědi před jinými
  • Formát využívá páry preferovaná/nepreferovaná
  • Parametr beta řídí rovnováhu mezi preferencemi a stabilitou
  • DPO je ideální pro nuance tónu, bezpečnost a zarovnání
  • Kombinace SFT a následně DPO často přináší nejlepší výsledky