DPO (Direct Preference Optimization)
Ar an leathanach seo
Nuashonrú 2 Samhain 2026 — Fáil ar fhíneáil. Tá an fhíneáil féinsheirbhíse ó OpenAI á céimniú amach: ón 7 Bealtaine 2026, ní féidir le heagraíochtaí nach bhfuil tar éis í a úsáid riamh post a chruthú a thuilleadh; ón 2 Iúil, caithfidh tú múnla fíneáilte a bheith úsáidte agat laistigh de na 60 lá seo caite; agus ag tosú 6 Eanáir 2027, ní bheidh aon chustaiméir in ann poist nua a sheoladh. Fanann múnlaí atá oilithe cheana inúsáidte go dtí go gcuirtear a mbunmhúnla ar scor. Fanann an cúrsa seo úsáideach chun múnla atá ann cheana a thuiscint agus a shaothrú; do thionscadail nua, tabhair tosaíocht d’innealtóireacht leideanna, RAG, agus meastóireachtaí.
Cad é DPO?
Is modh fíneála é DPO (Direct Preference Optimization) a mhúineann do mhúnla rogha a dhéanamh ar fhreagairtí áirithe thar chinn eile. In ionad an freagra ceart a thaispeáint amháin, mar atá déanta againn go dtí seo, taispeánann tú péire: freagra is fearr leat agus freagra nach bhfuil chomh maith leat. Foghlaimíonn an múnla dóchúlacht an chéad cheann a uasmhéadú agus dóchúlacht an dara ceann a íoslaghdú. Tá an difríocht níos doimhne ná mar a dealraíonn sé: i bhfíneáil faoi mhaoirseacht (SFT), sainíonn tú sprioc; i DPO, sainíonn tú teorainn.
| Gné | Faoi Mhaoirseacht (SFT) | DPO |
|---|---|---|
| Sonraí | An freagra ceart amháin | Péire: freagra is fearr leat + freagra nach bhfuil chomh maith leat |
| Cuspóir | Foghlaim chun aithris a dhéanamh | Foghlaim chun idirdhealú a dhéanamh |
| Cásanna úsáide | Formáid, stíl, aicmiú | Tón caolchúiseach, sábháilteacht, ailíniú |
| Sonraí de dhíth | 50+ sampla | 50+ péire rogha |
Cathain é a Úsáid
Bíonn ciall le DPO ar dtús nuair a bhíonn tábhacht le caolchúis — is é sin, nuair a bhíonn an difríocht idir freagra maith agus freagra den scoth mín. Is féidir le dhá fhreagra a bheith cruinn, dea-fhormáidithe agus cúirtéil araon, ach ní oireann ach ceann amháin don rud atá tú ag iarraidh a sheachadadh; ní thagann an t-idirdhealú sin trasna go maith le sampla aonair, ach oibríonn sé go foirfe le comparáid. Éiríonn sé ina uirlis nádúrtha freisin nuair is mian leat iompraíochtaí áirithe a sheachaint: níl aon bhealach ag fíneáil faoi mhaoirseacht frithshampla a chur in iúl, ach taispeánann DPO go soiléir don mhúnla cad nach déanfar.
Ansin, tagann aon rud a bhaineann le hailíniú — sábháilteacht, comhlíonadh, tón branda — réimsí ina mbíonn difríocht idir frásaíocht inghlactha agus fhadhbach ach cúpla focal amháin go minic. Ar deireadh, má tá do fhoirne tar éis roghanna daonna a tháirgeadh cheana féin, mar shampla measúnaitheoirí a rinne rangú ar fhreagra A i gcoinne freagra B, tá do chorpas DPO agat gan é a thógáil: is iad na ranguithe sin do péirí.
Formáid Sonraí
Úsáideann an fhormáid an modh dpo agus cuireann sé trí eochair in ionad an eagair messages: an comhthéacs roinnte in input, agus ansin an dá thoradh atá á gcomparáid. Tabhair faoi deara thíos nach bhfuil an freagra nach bhfuil chomh maith leat absurd — tá sé cosantach amháin agus cuireann sé deireadh leis an gcomhrá, ach aithníonn an ceann is fearr leat an agóid agus molann sé an chéad chéim eile.
{
"method": "dpo",
"input": [
{
"role": "system",
"content": "You are a professional sales assistant."
},
{
"role": "user",
"content": "Your product is too expensive."
}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
}
]
}
Leanann giniúint an chomhaid an loighic chéanna le fíneáil faoi mhaoirseacht: péire amháin in aghaidh na líne, ionchódú UTF-8, ensure_ascii=False. Léiríonn an dá phéire thíos an critéar rogha céanna curtha i bhfeidhm ar dhá chás éagsúla, rud atá díreach mar ba chóir duit a bhaint amach ar fud an chorpaís iomláin.
import json
pairs = [
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "Your service isn't working!"}
],
"preferred_output": [
{
"role": "assistant",
"content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "It works fine for everyone else. Have you tried restarting your computer?"
}
]
},
{
"method": "dpo",
"input": [
{"role": "system", "content": "Friendly customer support assistant."},
{"role": "user", "content": "I want a refund."}
],
"preferred_output": [
{
"role": "assistant",
"content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
}
],
"non_preferred_output": [
{
"role": "assistant",
"content": "Refunds aren't possible after 14 days. Read the T&Cs."
}
]
}
]
with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
for pair in pairs:
f.write(json.dumps(pair, ensure_ascii=False) + "\n")
print(f"DPO file created: {len(pairs)} pairs")
An Post a Sheoladh
Ní athraíonn an t-uaslódáil; is é an paraiméadar method a ritear agus an post á chruthú a athraíonn an oiliúint go mód DPO.
from openai import OpenAI
client = OpenAI()
# Upload the DPO file
file = client.files.create(
file=open("dpo_training.jsonl", "rb"),
purpose="fine-tune"
)
# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
training_file=file.id,
model="gpt-5.6-luna",
method={
"type": "dpo",
"dpo": {
"hyperparameters": {
"beta": 0.1 # Controls the strength of the preference
}
}
},
suffix="dpo-support-v1"
)
print(f"DPO job: {job.id}")
Rialaíonn an beta neart rialú DPO, is é sin, an tsaoirse a thugann tú don mhúnla dul ar strae óna iompar bunaidh. Ligeann beta íseal, idir 0.05 agus 0.1, don mhúnla bogadh níos faide ón mbunmhúnla chun do roghanna a leanúint: tá an t-athrú suntasach, ach rudaíonn tú cáilíochtaí a thabhairt leat nach raibh sé beartaithe agat a bhaint. Coinníonn beta ard, idir 0.2 agus 0.5, an múnla níos gaire don bhunmhúnla agus cruthaíonn sé athruithe coimeádacha — an socrú ceart nuair atá tú ag ceartú claonadh tóin ar mhúnla a oireann duit ar shlí eile.
Péirí Inúsáidte a Thógáil
Breathnaítear ar cháilíocht corpais DPO níos mó ar na freagairtí nach bhfuil chomh maith leat ná ar na cinn is fearr leat. Caithfidh an dá fhreagra a bheith inchreidte: má tá an freagra nach bhfuil chomh maith leat absurd, foghlaimíonn an múnla absurdacht a sheachaint, rud a raibh a fhios aige cheana féin conas a dhéanamh, agus ní bhfuair tú aon rud. Mar sin, caithfidh an difríocht a bheith soiléir gan a bheith carachtúrtha, agus díriú ar an gcritéar ar mian leat a mhúineadh i ndáiríre. Ansin, déan éagsúlú ar na cineálacha cásanna a chlúdaítear, murach sin, cuirfidh do mhúnla an rogha a foghlaimíodh i bhfeidhm ar chomhthéacs amháin agus ar cheann amháin sin.
Is é comhsheasmhacht na mbreithiúnas an leath eile den obair, agus ullmhaítear é sula ndéantar an chéad phéire. Sainigh do chritéir rogha go soiléir, bíodh roinnt daoine ag déanamh measúnaithe, agus coinnigh ach na péirí a bhfuil aontas orthu — léiríonn easaontas idir measúnaitheoirí péire atá débhríoch, agus ní tharraingeoidh an múnla as ach comhartha contrártha. Ar deireadh, coinnigh taifead scríofa de na critéir seo. Ag an gcéad iteráid eile, faoi stiúir athbhreithneoirí eile, déanfaidh tú breithiúnas ar an mbonn céanna in ionad an plé a athsheinm ón tús.
Trácht deireanach amháin ar mhodhanna seicheamhaithe. Is minic gurb é an straitéis is éifeachtaí ná gan roghnú: fíneáil faoi mhaoirseacht ar dtús, chun an fhormáid agus an stíl bhunúsach a mhúineadh, agus ansin DPO curtha i bhfeidhm ar an múnla atá fíneáilte cheana féin chun a chuid caolchúis a bheachtú. Déanann gach ceann an rud is fearr a dhéanann sé, san ord atá úsáideach.
Príomhphointí
- Múineann DPO don mhúnla rogha a dhéanamh ar fhreagairtí áirithe thar chinn eile
- Úsáideann an fhormáid péirí preferred/non_preferred
- Rialaíonn an paraiméadar
betaan chothromaíocht idir roghanna agus cobhsaíocht - Tá DPO idéalach do chaolchúiseanna tóin, sábháilteacht, agus ailíniú
- Is minic a thugann SFT a chomhcheangal le DPO ina dhiaidh sin na torthaí is fearr