DPO (Direct Preference Optimization)
Pe această pagină
Actualizare 2 noiembrie 2026 — Disponibilitatea fine-tuning-ului. Funcționalitatea de fine-tuning self-service de la OpenAI este în curs de retragere: începând cu 7 mai 2026, organizațiile care nu au utilizat-o niciodată nu mai pot crea job-uri; începând cu 2 iulie, trebuie să fi utilizat un model fine-tuned în ultimele 60 de zile; iar începând cu 6 ianuarie 2027, niciun client nu va mai putea lansa job-uri noi. Modelele deja antrenate rămân utilizabile până la retragerea modelului lor de bază. Acest curs rămâne util pentru înțelegerea și exploatarea unui model existent; pentru proiecte noi, prioritizați ingineria prompt-urilor, RAG și evaluările.
Ce este DPO?
DPO (Direct Preference Optimization) este o metodă de fine-tuning care învață un model să prefere anumite răspunsuri în detrimentul altora. În loc să prezentați doar răspunsul corect, așa cum am făcut până acum, prezentați o pereche: un răspuns preferat și unul non-preferat. Modelul învață să maximizeze probabilitatea primului, minimizând-o pe cea de-al doilea. Diferența este mai profundă decât pare: în fine-tuning-ul supervizat, definiți o țintă; în DPO, definiți o frontieră.
| Aspect | Supervizat (SFT) | DPO |
|---|---|---|
| Date | Doar răspunsul corect | Pereche: răspuns preferat + non-preferat |
| Obiectiv | Învățarea imitației | Învățarea discriminării |
| Cazuri de utilizare | Format, stil, clasificare | Nuanțe de ton, siguranță, aliniere |
| Date necesare | 50+ exemple | 50+ perechi de preferințe |
Când să îl utilizați
DPO are sens în primul rând atunci când nuanțele contează – adică atunci când diferența dintre un răspuns bun și unul excelent este subtilă. Două răspunsuri pot fi ambele precise, bine formatate și politicoase, totuși doar unul corespunde exact ceea ce doriți să livrați; această distincție nu reiese bine dintr-un exemplu izolat, dar funcționează perfect printr-o comparație. Devine, de asemenea, instrumentul natural atunci când doriți să evitați anumite comportamente: fine-tuning-ul supervizat nu are niciun mod de a exprima un contra-exemplu, în timp ce DPO arată explicit modelului ce să nu facă.
Urmează apoi orice ține de aliniere – siguranță, conformitate, tonul brandului – domenii în care formulările acceptabile și cele problematice diferă adesea prin doar câțiva cuvinte. În final, dacă echipele dumneavoastră au produs deja preferințe umane, de exemplu evaluatori care au clasat răspunsul A față de răspunsul B, aveți corpusul DPO fără a fi nevoie să îl construiți: acele clasamente sunt perechile dumneavoastră.
Formatul datelor
Formatul utilizează metoda dpo și înlocuiește tabloul messages cu trei chei: contextul partajat în input, urmat de cele două rezultate comparate. Observați mai jos că răspunsul non-preferat nu este absurd – este pur și simplu defensiv și închide conversația, în timp ce cel preferat recunoaște obiecția și propune un pas următor.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Generarea fișierului urmează aceeași logică ca pentru fine-tuning-ul supervizat: o pereche pe linie, codificare UTF-8, ensure_ascii=False. Cele două perechi de mai jos ilustrează același criteriu de preferință aplicat în două situații diferite, ceea ce exact doriți să obțineți pe întregul corpus.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
Lansarea job-ului
Încărcarea nu se schimbă; parametrul method transmis la crearea job-ului este cel care comută antrenarea în modul DPO.
from openai import OpenAI
client = OpenAI()
# Upload the DPO file
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Controls the strength of the preference
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
Parametrul beta controlează intensitatea regularizării DPO, adică libertatea pe care o acordați modelului de a se abate de la comportamentul său original. Un beta scăzut, între 0,05 și 0,1, permite modelului să se îndepărteze mai mult de modelul de bază pentru a urma preferințele dumneavoastră: schimbarea este vizibilă, dar riscați să antrenați și calități pe care nu intenționați să le atingeți. Un beta ridicat, între 0,2 și 0,5, menține modelul mai aproape de cel de bază și produce modificări conservative – setarea potrivită atunci când corectați o inflexiune de ton la un model care, în rest, vă convine.
Construirea unor perechi utilizabile
Calitatea unui corpus DPO se judecă mai mult pe baza răspunsurilor non-preferate decât a celor preferate. Ambele răspunsuri trebuie să fie plauzibile: dacă cel non-preferat este absurd, modelul învață să evite absurditatea, lucru pe care îl știa deja să îl facă, și nu ați câștigat nimic. Diferența trebuie, prin urmare, să fie clară fără a fi caricaturală și să se concentreze pe criteriul pe care doriți cu adevărat să îl predați. Apoi, variați tipurile de situații acoperite; altfel, modelul dumneavoastră va aplica preferința învățată într-un singur context și doar într-acela.
Coerența judecăților reprezintă cealaltă jumătate a muncii și se pregătește înainte de prima pereche. Definiți explicit criteriile de preferință, solicitați mai multor persoane să evalueze și păstrați doar perechile asupra cărora există acord – un dezacord între evaluatori semnalează o pereche ambiguă, din care modelul va extrage doar un semnal contradictoriu. În final, păstrați o înregistrare scrisă a acestor criterii. La iterarea următoare, condusă de alți recenzori, veți judeca pe aceeași bază, în loc să reia discuția de la zero.
O ultimă observație privind secvențierea metodelor. Strategia cea mai eficientă constă adesea în a nu alege: mai întâi fine-tuning supervizat, pentru a preda formatul și stilul de bază, apoi DPO aplicat modelului deja fine-tuned pentru a-i rafina nuanțele. Fiecare își face treaba pentru care este cel mai bun, în ordinea utilă.
Puncte cheie
- DPO învață modelul să prefere anumite răspunsuri în detrimentul altora
- Formatul utilizează perechi preferred/non_preferred
- Parametrul
betacontrolează echilibrul dintre preferințe și stabilitate - DPO este ideal pentru nuanțe de ton, siguranță și aliniere
- Combinarea SFT urmat de DPO oferă adesea cele mai bune rezultate