Премини към основното съдържание
Български— Изберете език
Меню

DPO (Direct Preference Optimization)

Урок 8 от 16 Обновен 2 ноември 2026 г. Напреднало
На тази страница
  1. Какво е DPO?
  2. Кога да го използвате
  3. Формат на данните
  4. Стартиране на задачата
  5. Изграждане на използваеми двойки
  6. Ключови изводи

Актуализация от 2 ноември 2026 г. — Наличност на фина настройка. Собствената услуга за фина настройка на OpenAI се прекратява постепенно: от 7 май 2026 г. организациите, които никога не са я използвали, вече не могат да създават задачи; от 2 юли трябва да сте използвали финално настроен модел през последните 60 дни; а считано от 6 януари 2027 г. никой клиент няма да може да стартира нови задачи. Вече обучените модели остават използвани, докато базовият им модел не бъде пенсиониран. Този курс остава полезен за разбиране и използване на съществуващ модел; за нови проекти дайте приоритет на инженерството на подкани (prompt engineering), RAG и оценяването.

Какво е DPO?

DPO (Direct Preference Optimization) е метод за фина настройка, който обучава модела да предпочита определени отговори пред други. Вместо да показвате само правилния отговор, както правихме досега, Вие представяте двойка: предпочитан отговор и непредпочитан отговор. Моделът се учи да максимизира вероятността за първия, като същевременно минимизира тази за втория. Разликата е по-дълбока, отколкото изглежда: при контролираната фина настройка (SFT) Вие дефинирате цел; при DPO Вие дефинирате граница.

Аспект Контролирана (SFT) DPO
Данни Само правилен отговор Двойка: предпочитан + непредпочитан отговор
Цел Учене чрез имитация Учене чрез разграничаване
Случаи на употреба Формат, стил, класификация Тънък тон, безопасност, подравняване
Необходими данни 50+ примера 50+ двойки предпочитания

Кога да го използвате

DPO има смисъл преди всичко когато нюансите са от значение – тоест, когато разликата между добрия и отличния отговор е тънка. Два отговора могат да бъдат едновременно точни, добре форматирани и учтиви, но само един съответства на това, което искате да постигнете; тази разлика не се предава добре чрез изолиран пример, но работи перфектно при сравнение. Той също така се превръща в естествения инструмент, когато искате да избегнете определени поведения: контролираната фина настройка няма начин да изрази контрапример, докато DPO изрично показва на модела какво да не прави.

Следва всичко, свързано с подравняването – безопасност, съответствие с нормите, тон на марката – области, в които приемливите и проблемните формулировки често се различават само с няколко думи. Накрая, ако Вашите екипи вече са генерирали човешки предпочитания, например оценители, които са класирали отговор А спрямо отговор Б, Вие разполагате с Вашия корпус за DPO, без да се налага да го изграждате: тези класации са Вашите двойки.

Формат на данните

Форматът използва метода dpo и замества масива messages с три ключа: споделеният контекст в input, следван от двата сравнявани резултата. Обърнете внимание по-долу, че непредпочитаният отговор не е абсурден – той просто е защитен и прекъсва разговора, докато предпочитаният признава възражението и предлага следваща стъпка.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Генерирането на файла следва същата логика като при контролираната фина настройка: една двойка на ред, кодиране UTF-8, ensure_ascii=False. Двете двойки по-долу илюстрират един и същи критерий за предпочитание, приложен в две различни ситуации, което е точно това, което искате да постигнете в целия корпус.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Стартиране на задачата

Качването не се променя; параметърът method, предаден при създаването на задачата, е този, който превключва обучението в режим DPO.

from openai import OpenAI

client = OpenAI()

# Качване на DPO файла
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Създаване на задачата с метода DPO
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

Параметърът beta контролира силата на регуларизацията на DPO, тоест свободата, която давате на модела да се отклони от първоначалното си поведение. Ниска стойност на beta, между 0.05 и 0.1, позволява на модела да се отдалечи повече от базовия модел, за да следва Вашите предпочитания: промяната е забележима, но рискувате да загубите качества, които не сте искали да засегнете. Висока стойност на beta, между 0.2 и 0.5, държи модела по-близо до базовия и произвежда консервативни промени – правилната настройка, когато коригирате нюанс на тона при модел, който иначе Ви устройва.

Изграждане на използваеми двойки

Качеството на един DPO корпус се преценява повече по непредпочитаните отговори, отколкото по предпочитаните. И двата отговора трябва да са правдоподобни: ако непредпочитаният е абсурден, моделът се учи да избягва абсурда, което вече е умеел да прави, и Вие не сте спечелили нищо. Разликата следователно трябва да е ясна, без да е карикатурна, и да се фокусира върху критерия, който наистина искате да преподадете. След това разнообразявайте видове ситуации, в противен случай Вашият модел ще прилага наученото предпочитание само в един контекст и никой друг.

Съгласуваността на преценките е другата половина от работата и тя се подготвя преди първата двойка. Изрично дефинирайте Вашите критерии за предпочитание, накарайте няколко души да оценяват и запазете само двойките, по които те са съгласни – несъгласие между оценителите сигнализира за неясна двойка, от която моделът ще извлече само противоречив сигнал. Накрая, водете писмен запис на тези критерии. При следващата итерация, водена от други ревизори, ще съдите въз основа на същите критерии, вместо да започвате дискусията отначало.

Една последна забележка относно последователността на методите. Най-ефективната стратегия често се състои в това да не избирате: първо контролирана фина настройка, за да се научи основният формат и стил, след което DPO, приложен върху вече финално настройки модел, за да се усъвършенстват неговите нюанси. Всеки прави това, за което е най-добър, в реда, който е полезен.

Ключови изводи

  • DPO обучава модела да предпочита определени отговори пред други
  • Форматът използва двойки preferred/non_preferred
  • Параметърът beta контролира баланса между предпочитанията и стабилността
  • DPO е идеален за нюанси в тона, безопасност и подравняване
  • Комбинирането на SFT, последвано от DPO, често дава най-добри резултати