Przejdź do głównej treści
Polski— Wybierz język
Menu

DPO (Direct Preference Optimization)

Lekcja 8 z 16 Zaktualizowano 2 listopada 2026 Zaawansowany
Na tej stronie
  1. Czym jest DPO?
  2. Kiedy tego użyć?
  3. Format danych
  4. Uruchamianie zadania
  5. Budowanie użytecznych par
  6. Kluczowe wnioski

Aktualizacja z 2 listopada 2026 r. — Dostępność dostrajania. Usługa samodzielnego dostrajania modeli OpenAI jest wycofywana: od 7 maja 2026 r. organizacje, które nigdy z niej nie korzystały, nie mogą już tworzyć zadań; od 2 lipca konieczne jest użycie dostrajonego modelu w ciągu ostatnich 60 dni; a począwszy od 6 stycznia 2027 r., żaden klient nie będzie mógł uruchomić nowych zadań. Już wytrenowane modele pozostają użyteczne do momentu wycofania ich modelu bazowego. Ten kurs nadal przydaje się do zrozumienia i wykorzystania istniejącego modelu; w przypadku nowych projektów priorytetowo potraktuj inżynierię promptów, RAG oraz ewaluacje.

Czym jest DPO?

DPO (Direct Preference Optimization) to metoda dostrajania, która uczy model preferowania określonych odpowiedzi względem innych. Zamiast przedstawiać wyłącznie poprawną odpowiedź, jak robiliśmy to dotychczas, pokazujesz parę: odpowiedź preferowaną i odpowiedź niepreferowaną. Model uczy się maksymalizować prawdopodobieństwo pierwszej, jednocześnie minimalizując prawdopodobieństwo drugiej. Różnica jest głębsza, niż się wydaje: w dostrajaniu nadzorowanym (SFT) definiujesz cel; w DPO definiujesz granicę.

Aspekt Nadzorowane (SFT) DPO
Dane Tylko poprawna odpowiedź Para: odpowiedź preferowana + niepreferowana
Cel Nauka naśladowania Nauka rozróżniania
Przypadki użycia Format, styl, klasyfikacja Subtelny ton, bezpieczeństwo, dopasowanie (alignment)
Wymagane dane 50+ przykładów 50+ par preferencji

Kiedy tego użyć?

DPO ma sens przede wszystkim wtedy, gdy liczą się niuanse – czyli gdy różnica między dobrą a doskonałą odpowiedzią jest subtelna. Dwie odpowiedzi mogą być zarówno poprawne, dobrze sformatowane i uprzejme, a jednak tylko jedna odpowiada temu, co chcesz przekazać; ta różnica nie wychodzi dobrze na pojedynczym przykładzie, ale działa idealnie w porównaniu. Metoda ta staje się również naturalnym narzędziem, gdy chcesz uniknąć określonych zachowań: dostrajanie nadzorowane nie ma sposobu na wyrażenie kontrprzykładu, podczas gdy DPO wyraźnie pokazuje modelowi, czego nie robić.

Kolejnym obszarem jest wszystko, co związane z dopasowaniem (alignment) – bezpieczeństwo, zgodność z przepisami, ton marki – сферы, w których sformułowania akceptowalne i problematyczne często różnią się zaledwie kilkoma słowami. Wreszcie, jeśli Twoje zespoły już wypracowały ludzkie preferencje, na przykład evaluatorzy rankingujący odpowiedź A względem odpowiedzi B, masz gotowy korpus DPO bez konieczności jego budowania: te rankingi są Twoimi parami.

Format danych

Format wykorzystuje metodę dpo i zastępuje tablicę messages trzema kluczami: wspólny kontekst w input, a następnie dwa porównywane wyniki. Zauważ poniżej, że odpowiedź niepreferowana nie jest absurdalna – jest po prostu defensywna i ucina rozmowę, podczas gdy preferowana uznaje zastrzeżenie i proponuje kolejny krok.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Generowanie pliku przebiega według tej samej logiki co w przypadku dostrajania nadzorowanego: jedna para na linię, kodowanie UTF-8, ensure_ascii=False. Dwie poniższe pary ilustrują to samo kryterium preferencji zastosowane do dwóch różnych sytuacji, co dokładnie chcesz osiągnąć w całym korpusie.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Uruchamianie zadania

Proces przesyłania się nie zmienia; to parametr method przekazywany podczas tworzenia zadania przełącza trening w tryb DPO.

from openai import OpenAI

client = OpenAI()

# Upload the DPO file
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

Parametr beta kontroluje siłę regularyzacji DPO, czyli swobodę, jaką dajesz modelowi w odchodzeniu od jego pierwotnego zachowania. Niskie beta, między 0,05 a 0,1, pozwala modelowi oddalić się dalej od modelu bazowego, aby podążać za Twoimi preferencjami: zmiana jest zauważalna, ale ryzykujesz utratę cech, których nie zamierzałeś dotykać. Wysokie beta, między 0,2 a 0,5, utrzymuje model bliżej modelu bazowego i generuje konserwatywne zmiany – jest to właściwe ustawienie, gdy korygujesz infleksję tonu w modelu, który inaczej Ci odpowiada.

Budowanie użytecznych par

Jakość korpusu DPO ocenia się bardziej pod kątem odpowiedzi niepreferowanych niż preferowanych. Obie odpowiedzi muszą być wiarygodne: jeśli ta niepreferowana jest absurdalna, model uczy się unikać absurdu, co już potrafił, i nic nie zyskujesz. Różnica musi być więc wyraźna, ale nie karykaturalna, i skupiać się na kryterium, którego naprawdę chcesz nauczyć. Następnie urozmaicaj rodzaje obejmowanych sytuacji, w przeciwnym razie Twój model zastosuje nauczoną preferencję tylko do jednego kontekstu i żadnego innego.

Spójność ocen to druga połowa pracy, którą przygotowuje się przed stworzeniem pierwszej pary. Wyraźnie zdefiniuj swoje kryteria preferencji, zaangażuj kilka osób do oceny i zachowaj tylko te pary, co do których panuje zgoda – niezgodność wśród evaluatorów sygnalizuje niejednoznaczną parę, z której model wyciągnie jedynie sprzeczny sygnał. Na koniec prowadź pisemną dokumentację tych kryteriów. Przy następnej iteracji, prowadzonej przez innych recenzentów, będziesz oceniał na tej samej podstawie, zamiast od nowa rozpoczynać dyskusję.

Jeszcze jedna uwaga dotycząca sekwencjonowania metod. Najskuteczniejszą strategią jest często nie wybieranie: najpierw dostrajanie nadzorowane, aby nauczyć podstawowego formatu i stylu, a następnie DPO zastosowane do już dostrajonego modelu, aby dopracować jego niuanse. Każda metoda robi to, co robi najlepiej, w kolejności, która ma sens.

Kluczowe wnioski

  • DPO uczy model preferowania określonych odpowiedzi względem innych
  • Format wykorzystuje pary preferowana/niepreferowana
  • Parametr beta kontroluje balans między preferencjami a stabilnością
  • DPO jest idealne do niuansów tonu, bezpieczeństwa i dopasowania (alignment)
  • Połączenie SFT, a następnie DPO, często przynosi najlepsze rezultaty