DPO (Direct Preference Optimization)
Σε αυτήν τη σελίδα
Ενημέρωση 2 Νοεμβρίου 2026 — Διαθεσιμότητα fine-tuning. Η αυτοεξυπηρετούμενη λειτουργία fine-tuning της OpenAI καταργείται σταδιακά: από τις 7 Μαΐου 2026, οι οργανισμοί που δεν την έχουν χρησιμοποιήσει ποτέ δεν μπορούν πλέον να δημιουργήσουν εργασίες· από τις 2 Ιουλίου, πρέπει να έχετε χρησιμοποιήσει ένα μοντέλο fine-tuned τις τελευταίες 60 ημέρες· και ξεκινώντας από τις 6 Ιανουαρίου 2027, κανένας πελάτης δεν θα μπορεί να ξεκινήσει νέες εργασίες. Τα ήδη εκπαιδευμένα μοντέλα παραμένουν usable μέχρι να αποσυρθεί το βασικό τους μοντέλο. Αυτό το μάθημα παραμένει χρήσιμο για την κατανόηση και την αξιοποίηση ενός υπάρχοντος μοντέλου· για νέα έργα, δώστε προτεραιότητα στη μηχανική prompts, στο RAG και στις αξιολογήσεις.
Τι είναι το DPO;
Το DPO (Direct Preference Optimization) είναι μια μέθοδος fine-tuning που διδάσκει στο μοντέλο να προτιμά ορισμένες απαντήσεις έναντι άλλων. Αντί να παρουσιάζετε μόνο τη σωστή απάντηση, όπως κάναμε μέχρι τώρα, παρουσιάζετε ένα ζεύγος: μια προτιμώμενη απάντηση και μια μη προτιμώμενη απάντηση. Το μοντέλο μαθαίνει να μεγιστοποιεί την πιθανότητα της πρώτης ενώ ελαχιστοποιεί εκείνη της δεύτερης. Η διαφορά είναι βαθύτερη από ό,τι φαίνεται: στο supervised fine-tuning, ορίζετε έναν στόχο· στο DPO, ορίζετε ένα όριο.
| Πτυχή | Supervised (SFT) | DPO |
|---|---|---|
| Δεδομένα | Μόνο η σωστή απάντηση | Ζεύγος: προτιμώμενη + μη προτιμώμενη απάντηση |
| Στόχος | Εκμάθηση μίμησης | Εκμάθηση διάκρισης |
| Περιπτώσεις χρήσης | Μορφή, στυλ, ταξινόμηση | Λεπτές αποχρώσεις τόνου, ασφάλεια, ευθυγράμμιση |
| Απαιτούμενα δεδομένα | 50+ παραδείγματα | 50+ ζεύγη προτίμησης |
Πότε να το χρησιμοποιήσετε
Το DPO έχει νόημα κυρίως όταν οι αποχρώσεις έχουν σημασία· δηλαδή, όταν η διαφορά μεταξύ μιας καλής και μιας εξαιρετικής απάντησης είναι λεπτή. Δύο απαντήσεις μπορεί να είναι και οι δύο ακριβείς, καλά δομημένες και ευγενικές, ωστόσο μόνο η μία ταιριάζει με αυτό που θέλετε να προσφέρετε· αυτή η διάκριση δεν μεταδίδεται καλά με ένα μεμονωμένο παράδειγμα, αλλά λειτουργεί άψογα με μια σύγκριση. Γίνεται επίσης το φυσικό εργαλείο όταν θέλετε να αποφύγετε ορισμένες συμπεριφορές: το supervised fine-tuning δεν έχει τρόπο να εκφράσει ένα αντιπαράδειγμα, whereas το DPO δείχνει ρητά στο μοντέλο τι να μην κάνει.
Στη συνέχεια έρχεται οτιδήποτε αφορά την ευθυγράμμιση—ασφάλεια, συμμόρφωση, τόνος μάρκας—τομείς όπου η αποδεκτή και η προβληματική διατύπωση συχνά διαφέρουν κατά μερικές μόνο λέξεις. Τέλος, εάν οι ομάδες σας έχουν ήδη παράγει ανθρώπινες προτιμήσεις, για παράδειγμα αξιολογητές που κατέταξαν την απάντηση Α έναντι της απάντησης Β, έχετε το corpus DPO σας χωρίς να χρειάζεται να το δημιουργήσετε: αυτές οι κατατάξεις είναι τα ζεύγη σας.
Μορφή Δεδομένων
Η μορφή χρησιμοποιεί τη μέθοδο dpo και αντικαθιστά τον πίνακα messages με τρία κλειδιά: το κοινό πλαίσιο στο input, και στη συνέχεια τα δύο συγκρινόμενα αποτελέσματα. Σημειώστε παρακάτω ότι η μη προτιμώμενη απάντηση δεν είναι παράλογη—είναι απλώς αμυντική και κλείνει τη συζήτηση, whereas η προτιμώμενη αναγνωρίζει την ένσταση και προτείνει ένα επόμενο βήμα.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Η δημιουργία του αρχείου ακολουθεί την ίδια λογική με το supervised fine-tuning: ένα ζεύγος ανά γραμμή, κωδικοποίηση UTF-8, ensure_ascii=False. Τα δύο ζεύγη παρακάτω απεικονίζουν το ίδιο κριτήριο προτίμησης εφαρμοσμένο σε δύο διαφορετικές καταστάσεις, κάτι που ακριβώς θέλετε να επιτύχετε σε ολόκληρο το corpus.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
Εκκίνηση της Εργασίας
Η μεταφόρτωση δεν αλλάζει· είναι η παράμετρος method που περνάται κατά τη δημιουργία της εργασίας που μετατρέπει την εκπαίδευση σε λειτουργία DPO.
from openai import OpenAI
client = OpenAI()
# Upload the DPO file
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Controls the strength of the preference
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
Το beta ελέγχει την ισχύ της κανονικοποίησης DPO, δηλαδή την ελευθερία που δίνετε στο μοντέλο να αποκλίνει από την αρχική του συμπεριφορά. Ένα χαμηλό beta, μεταξύ 0,05 και 0,1, επιτρέπει στο μοντέλο να απομακρυνθεί περισσότερο από το βασικό μοντέλο για να ακολουθήσει τις προτιμήσεις σας: η αλλαγή είναι αισθητή, αλλά διακινδυνεύετε να παρασύρετε και ποιότητες που δεν σκοπεύατε να αγγίξετε. Ένα υψηλό beta, μεταξύ 0,2 και 0,5, κρατά το μοντέλο πιο κοντά στο βασικό μοντέλο και παράγει συντηρητικές αλλαγές—η σωστή ρύθμιση όταν διορθώνετε μια απόκλιση τόνου σε ένα μοντέλο που otherwise σας ταιριάζει.
Δημιουργία Χρήσιμων Ζευγών
Η ποιότητα ενός corpus DPO κρίνεται περισσότερο στις μη προτιμώμενες απαντήσεις παρά στις προτιμώμενες. Και οι δύο απαντήσεις πρέπει να είναι πιθανές: εάν η μη προτιμώμενη είναι παράλογη, το μοντέλο μαθαίνει να αποφεύγει την παραλογικότητα, κάτι που ήδη ήξερε πώς να κάνει, και δεν έχετε κερδίσει τίποτα. Η διαφορά πρέπει therefore να είναι ξεκάθαρη χωρίς να είναι καρικατούρα, και να εστιάζει στο κριτήριο που πραγματικά θέλετε να διδάξετε. Στη συνέχεια, διαφοροποιήστε τους τύπους των καταστάσεων που καλύπτονται, διαφορετικά το μοντέλο σας θα εφαρμόσει την εκμαθημένη προτίμηση σε ένα και μόνο πλαίσιο.
Η συνοχή των κρίσεων είναι το άλλο μισό της εργασίας, και προετοιμάζεται πριν από το πρώτο ζεύγος. Ορίστε ρητά τα κριτήρια προτίμησής σας, ζητήστε από several άτομα να αξιολογήσουν και κρατήστε μόνο τα ζεύγη στα οποία συμφωνούν—μια διαφωνία μεταξύ των αξιολογητών σηματοδοτεί ένα διφορούμενο ζεύγος, από το οποίο το μοντέλο θα αντλήσει μόνο ένα αντιφατικό σήμα. Τέλος, κρατήστε γραπτό αρχείο αυτών των κριτηρίων. Στην επόμενη επανάληψη, που θα οδηγηθεί από άλλους αναθεωρητές, θα κρίνετε με την ίδια βάση αντί να επαναλάβετε τη συζήτηση από την αρχή.
Μια τελευταία παρατήρηση σχετικά με τις μεθόδους αλληλουχίας. Η πιο αποτελεσματική στρατηγική συχνά συνίσταται στο να μην επιλέξετε: πρώτα supervised fine-tuning, για να διδάξετε τη βασική μορφή και στυλ, και στη συνέχεια DPO εφαρμοσμένο στο ήδη fine-tuned μοντέλο για να βελτιώσετε τις αποχρώσεις του. Το καθένα κάνει αυτό που κάνει καλύτερα, με τη σειρά που είναι χρήσιμη.
Βασικά σημεία
- Το DPO διδάσκει στο μοντέλο να προτιμά ορισμένες απαντήσεις έναντι άλλων
- Η μορφή χρησιμοποιεί ζεύγη preferred/non_preferred
- Η παράμετρος
betaελέγχει την ισορροπία μεταξύ προτιμήσεων και σταθερότητας - Το DPO είναι ιδανικό για αποχρώσεις τόνου, ασφάλεια και ευθυγράμμιση
- Ο συνδυασμός SFT και στη συνέχεια DPO συχνά αποδίδει τα καλύτερα αποτελέσματα