Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

DPO (Direct Preference Optimization)

Lekcija 8 od 16 Ažurirano 2. studenoga 2026. Napredno
Na ovoj stranici
  1. Što je DPO?
  2. Kada ga koristiti
  3. Format podataka
  4. Pokretanje zadatka
  5. Izrada upotrebljivih parova
  6. Ključne točke

Ažuriranje 2. studenoga 2026. — Dostupnost fino podešavanja. OpenAI postupno ukida samostalno fino podešavanje: od 7. svibnja 2026. organizacije koje ga nikada nisu koristile više ne mogu stvarati zadatke; od 2. srpnja morali ste koristiti fino podešen model u posljednjih 60 dana; a počevši od 6. siječnja 2027., nijedan korisnik neće moći pokrenuti nove zadatke. Već obučeni modeli ostaju upotrebljivi dok se njihov temeljni model ne povuče. Ovaj tečaj i dalje je koristan za razumijevanje i iskorištavanje postojećeg modela; za nove projekte dajte prednost inženjerstvu prompta, RAG-u i evaluacijama.

Što je DPO?

DPO (Direct Preference Optimization) metoda je finog podešavanja koja model uči preferirati određene odgovore u odnosu na druge. Umjesto da prikazuješ samo točan odgovor, kao što smo do sada radili, prikazuješ par: preferirani odgovor i nepreferirani odgovor. Model uči maksimizirati vjerojatnost prvog uz istovremeno minimiziranje vjerojatnosti drugog. Razlika je dublja nego što se čini: kod nadziranog finog podešavanja (SFT) definiraš cilj; kod DPO-a definiraš granicu.

Aspekt Nadzirano (SFT) DPO
Podaci Samo točan odgovor Par: preferirani + nepreferirani odgovor
Cilj Učenje imitacije Učenje diskriminacije
Slučajevi upotrebe Format, stil, klasifikacija Suptilan ton, sigurnost, usklađenost
Potrebni podaci 50+ primjera 50+ parova preferencija

Kada ga koristiti

DPO ima smisla prvenstveno kada su nijanse bitne – odnosno kada je razlika između dobrog i izvrsnog odgovora suptilna. Dva odgovora mogu biti točna, dobro formatirana i ljubazna, no samo jedan odgovara onome što želiš isporučiti; ta se razlika ne prenosi dobro izoliranim primjerom, ali savršeno funkcionira uz usporedbu. Također postaje prirodan alat kada želiš izbjeći određena ponašanja: nadzirano fino podešavanje nema načina izraziti protuprimjer, dok DPO eksplicitno pokazuje modelu što ne treba raditi.

Sljedeće je sve što se tiče usklađenosti – sigurnost, usklađenost s propisima, ton brenda – područja u kojoj se prihvatljive i problematične formulacije često razlikuju za samo nekoliko riječi. Konačno, ako su tvoji timovi već proizveli ljudske preferencije, na primjer evaluatori koji su rangirali odgovor A naspram odgovora B, već imaš svoj DPO korpus bez potrebe za njegovom izradom: ta su rangiranja tvoji parovi.

Format podataka

Format koristi metodu dpo i zamjenjuje polje messages s tri ključa: zajednički kontekst u input, zatim dva uspoređena ishoda. Imaj na umu da nepreferirani odgovor u nastavku nije apsurdan – jednostavno je defenzivan i prekida razgovor, dok preferirani priznaje prigovor i predlaže sljedeći korak.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Generiranje datoteke slijedi istu logiku kao i za nadzirano fino podešavanje: jedan par po retku, UTF-8 kodiranje, ensure_ascii=False. Dva para u nastavku ilustriraju isti kriterij preferencije primijenjen na dvije različite situacije, što je točno ono što želiš postići u cijelom korpusu.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Pokretanje zadatka

Prijenos se ne mijenja; parametar method koji se prosljeđuje prilikom stvaranja zadatka prebacuje obuku u DPO način rada.

from openai import OpenAI

client = OpenAI()

# Upload the DPO file
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

Parametar beta kontrolira snagu DPO regularizacije, odnosno slobodu koju daješ modelu da odstupa od svog izvornog ponašanja. Nizak beta, između 0,05 i 0,1, omogućuje modelu da se više udalji od temeljnog modela kako bi slijedio tvoje preferencije: promjena je uočljiva, ali riskiraš povući sa sobom kvalitete koje nisi namjeravao dirati. Visok beta, između 0,2 i 0,5, drži model bliže temeljnom modelu i proizvodi konzervativne promjene – ispravna postavka kada ispravljaš infleksiju tona na modelu koji ti inače odgovara.

Izrada upotrebljivih parova

Kvaliteta DPO korpusa procjenjuje se više na temelju nepreferiranih odgovora nego na temelju preferiranih. Oba odgovora moraju biti uvjerljiva: ako je nepreferirani apsurdan, model uči izbjegavati apsurd, što je već znao raditi, i nisi ništa dobio. Razlika stoga mora biti jasna, ali ne i karikirana, te se mora usredotočiti na kriterij koji stvarno želiš naučiti. Zatim variraj vrste obuhvaćenih situacija, inače će tvoj model primijeniti naučenu preferenciju samo na jedan kontekst i nijedan drugi.

Dosljednost prosudbi druga je polovica posla, a priprema se prije prvog para. Eksplicitno definiraj svoje kriterije preferencije, angažiraj nekoliko ljudi za evaluaciju i zadrži samo parove oko kojih se slažu – neslaganje među evaluatorima signalizira dvosmislen par iz kojeg će model izvući samo kontradiktoran signal. Naposljetku, vodi pisani zapis ovih kriterija. Pri sljedećoj iteraciji, koju će provesti drugi recenzenti, sudit ćete na istoj osnovi umjesto da ispočetka ponavljate raspravu.

Još jedna napomena o nizanju metoda. Najučinkovitija strategija često se sastoji u tome da ne biraš: prvo nadzirano fino podešavanje kako bi se naučili osnovni format i stil, zatim DPO primijenjen na već fino podešeni model kako bi se usavršile njegove nijanse. Svaka metoda radi ono u čemu je najbolja, redoslijedom koji je koristan.

Ključne točke

  • DPO uči model da preferira određene odgovore u odnosu na druge
  • Format koristi parove preferirani/nepreferirani
  • Parametar beta kontrolira ravnotežu između preferencija i stabilnosti
  • DPO je idealan za nijanse tona, sigurnost i usklađenost
  • Kombinacija SFT-a pa zatim DPO-a često daje najbolje rezultate