DPO (Direct Preference Optimization)
F'din il-paġna
Aġġornament 2 ta’ Novembru, 2026 — Disponibbiltà tal-Fine-tuning. Is-servizz awtonomu ta’ fine-tuning ta’ OpenAI qed jiġi rtirat gradwalment: mill-7 ta’ Mejju, 2026, l-organizzazzjonijiet li qatt ma użawh ma jistgħux joħolqu aktar kompiti; mill-2 ta’ Lulju, trid tkun użajt mudell imħarreġ b’mod fin matul l-aħħar 60 jum; u mill-6 ta’ Jannar, 2027, l-ebda klijent ma jkun jista’ jnieda kompiti ġodda. Il-mudelli diġà mħarrġa jibqgħu użabbli sakemm il-mudell bażi tagħhom jiġi rtirat. Dan il-kors jibqa’ utli biex tifhem u tisfrutta mudell eżistenti; għal proġetti ġodda, agħti prijorità lill-inġinerija tal-prompt, RAG, u l-evalwazzjonijiet.
X’inhu d-DPO?
Id-DPO (Direct Preference Optimization) huwa metodu ta’ fine-tuning li jgħallem lill-mudell jippreferi ċerti tweġibiet fuq oħrajn. Minflok turi biss it-tweġiba korretta, kif għamilna s’issa, turi par: tweġiba preferuta u tweġiba mhux preferuta. Il-mudell jitgħallem jimmassimizza l-probabbiltà tal-ewwel waħda filwaqt li jminimizza dik tat-tieni. Id-differenza tmur aktar fil-fond milli tidher: fil-fine-tuning sorveljat (SFT), tiddefinixxi mira; fid-DPO, tiddefinixxi fruntiera.
| Aspett | Sorveljat (SFT) | DPO |
|---|---|---|
| Data | Tweġiba korretta biss | Par: tweġiba preferuta + mhux preferuta |
| Objettiv | Titgħallem timita | Titgħallem tiddiskrimina |
| Każijiet ta' użu | Format, stil, klassifikazzjoni | Ton sottili, sigurtà, allinjament |
| Data meħtieġa | 50+ eżempju | 50+ par ta' preferenzi |
Meta Tużah
Id-DPO jagħmel sens l-ewwel nett meta n-nuansi jkunu importanti—jiġifieri, meta d-differenza bejn tweġiba tajba u waħda eċċellenti tkun sottili. Żewġ tweġibiet jistgħu jkunu t-tnejn preċiżi, b’format tajjeb u politeżi, madankollu waħda biss taqbel ma’ dak li trid twassal; dik id-distinzjoni ma tinftiehimx tajjeb b’eżempju iżolat, iżda taħdem perfettament b’tqabbil. Isir ukoll l-għodda naturali meta trid tevita ċerti imġibiet: il-fine-tuning sorveljat m’għandux mod jesprimi kontro-eżempju, filwaqt li d-DPO juri espliċitament lill-mudell x’ma għandux jagħmel.
Imbagħad hemm kollox relatat mal-allinjament—sigurtà, konformità, ton tal-marka—oqsma fejn frażijiet aċċettabbli u problematiċi spiss ivarjaw b’ftit kliem biss. Fl-aħħar nett, jekk it-timijiet tiegħek diġà pproduċew preferenzi umani, pereżempju evalwaturi li kklassifikaw it-tweġiba A kontra t-tweġiba B, ikollok il-korpus tad-DPO tiegħek mingħajr ma jkollok tibnih: dawk il-klassifikazzjonijiet huma l-pari tiegħek.
Format tad-Data
Il-format juża l-metodu dpo u jissostitwixxi l-array messages bi tliet ċwievet: il-kuntest kondiviż f’input, imbagħad iż-żewġ riżultati mqabbla. Innota hawn taħt li t-tweġiba mhux preferuta mhix assurda—hija sempliċiment difensiva u tgħalaq il-konversazzjoni, filwaqt li dik preferuta tirrikonoxxi l-oġġezzjoni u tipproponi pass li jmiss.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Il-ġenerazzjoni tal-fajl issegwi l-istess loġika bħall-fine-tuning sorveljat: par wieħed kull linja, kodifika UTF-8, ensure_ascii=False. Iż-żewġ pari hawn taħt juru l-istess kriterju ta’ preferenza applikat għal żewġ sitwazzjonijiet differenti, li huwa eżattament dak li trid tikseb matul il-korpus kollu.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
Tnedija tal-Kompitu
It-tlugħ ma jinbidilx; huwa l-parametru method mgħoddi meta toħloq il-kompitu li jbiddel it-taħriġ għall-modalità DPO.
from openai import OpenAI
client = OpenAI()
# Upload the DPO file
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Controls the strength of the preference
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
Il-beta jikkontrolla s-saħħa tar-regolarizzazzjoni tad-DPO, jiġifieri, il-libertà li tagħti lill-mudell biex jiddevja mill-imġiba oriġinali tiegħu. Beta baxxa, bejn 0.05 u 0.1, tippermetti lill-mudell jibgħed aktar mill-mudell bażi biex isegwi l-preferenzi tiegħek: il-bidla tkun notevoli, iżda tirriskja li tieħu miegħek kwalitajiet li ma kellekx ħsieb tmiss. Beta għolja, bejn 0.2 u 0.5, iżżomm il-mudell eqreb lejn il-mudell bażi u tipproduċi bidliet konservattivi—l-issettjar it-tajjeb meta tkun qed tikkoreġi inflessjoni fit-ton fuq mudell li altrimenti jkun jaqblek.
Bini ta’ Pari Użabbli
Il-kwalità ta’ korpus tad-DPO tiġi ġġudikata aktar fuq it-tweġibiet mhux preferuti milli fuq dawk preferuti. Iż-żewġ tweġibiet iridu jkunu plawżibbli: jekk dik mhux preferuta tkun assurda, il-mudell jitgħallem jevita l-assurdità, li diġà kien jaf kif jagħmel, u ma tkunx qlajt xejn. Għalhekk id-differenza trid tkun ċara mingħajr ma tkun karikatura, u tiffoka fuq il-kriterju li verament trid tgħallem. Imbagħad ivvara t-tipi ta’ sitwazzjonijiet koperti, inkella l-mudell tiegħek se japplika l-preferenza mgħallma għal kuntest wieħed biss.
Il-konsistenza tal-ġudizzji hija n-nofs l-ieħor tax-xogħol, u tiġi ppreparata qabel l-ewwel par. Idddefinixxi espliċitament il-kriterji ta’ preferenza tiegħek, agħmel lil diversi persuni jevalwaw, u żomm biss il-pari li fuqhom jaqblu—nuqqas ta’ qbil fost l-evalwaturi jindika par ambigwu, li minnu l-mudell se jiġbed biss sinjal kontradittorju. Fl-aħħar nett, żomm rekord miktub ta’ dawn il-kriterji. Fl-iterazzjoni li jmiss, immexxija minn reviżuri oħra, se tiġġudika fuq l-istess bażi minflok ma terġa’ tibda d-diskussjoni mill-bidu.
Kumment finali dwar is-sekwenzar tal-metodi. L-aktar strateġija effettiva spiss tikkonsisti f’li ma tagħżilx: fine-tuning sorveljat l-ewwel, biex tgħallem il-format u l-istil bażiċi, imbagħad DPO applikat għall-mudell diġà mħarreġ b’mod fin biex tirfina n-nuansi tiegħu. Kull wieħed jagħmel dak li jagħmel l-aħjar, fl-ordni li tkun utli.
Punti Ewlenin
- Id-DPO jgħallem lill-mudell jippreferi ċerti tweġibiet fuq oħrajn
- Il-format juża pari preferuti/mhux_preferuti
- Il-parametru
betajikkontrolla l-bilanċ bejn il-preferenzi u l-istabbiltà - Id-DPO huwa ideali għal nuansi fit-ton, sigurtà u allinjament
- Il-kombinazzjoni ta’ SFT imbagħad DPO spiss tagħti l-aħjar riżultati