Hoppa till huvudinnehåll
Svenska— Välj ett språk
Meny

DPO (Direct Preference Optimization)

Lektion 8 av 16 Uppdaterad 2 november 2026 Avancerad
På denna sida
  1. Vad är DPO?
  2. När ska du använda det?
  3. Dataformat
  4. Starta jobbet
  5. Bygga användbara par
  6. Viktiga punkter

Uppdatering 2 november 2026 — Tillgänglighet för finjustering. OpenAIs självbetjäningslösning för finjustering avvecklas: sedan den 7 maj 2026 kan organisationer som aldrig har använt tjänsten inte längre skapa jobb; sedan den 2 juli måste du ha använt en finjusterad modell under de senaste 60 dagarna; och från och med 6 januari 2027 kommer ingen kund att kunna starta nya jobb. Redan tränade modeller går att använda tills deras basmodell tas ur bruk. Denna kurs är fortfarande värdefull för att förstå och utnyttja en befintlig modell; för nya projekt bör du prioritera prompt engineering, RAG och utvärderingar.

Vad är DPO?

DPO (Direct Preference Optimization) är en finjusteringsmetod som lär en modell att föredra vissa svar framför andra. Istället för att bara visa det korrekta svaret, som vi har gjort hittills, visar du ett par: ett föredraget svar och ett icke-föredraget svar. Modellen lär sig att maximera sannolikheten för det första samtidigt som den minimerar sannolikheten för det andra. Skillnaden går djupare än den verkar vid första anblicken: vid övervakad finjustering (SFT) definierar du ett mål; vid DPO definierar du en gräns.

Aspekt Övervakad (SFT) DPO
Data Endast korrekt svar Par: föredraget + icke-föredraget svar
Mål Lära sig att härma Lära sig att särskilja
Användningsområden Format, stil, klassificering Subtil ton, säkerhet, anpassning
Nödvändig data 50+ exempel 50+ preferenspar

När ska du använda det?

DPO är först och främst meningsfullt när nyanser spelar roll – det vill säga när skillnaden mellan ett bra och ett utmärkt svar är subtil. Två svar kan båda vara korrekta, välformaterade och artiga, men bara det ena matchar det du vill leverera; den distinktionen framgår inte tydligt av ett enskilt exempel, men fungerar perfekt vid en jämförelse. Det blir också det naturliga verktyget när du vill undvika vissa beteenden: övervakad finjustering har inget sätt att uttrycka ett motexempel, medan DPO explicit visar modellen vad den inte ska göra.

Därefter kommer allt som rör anpassning – säkerhet, regelefterlevnad, varumärkestonsättning – områden där acceptabel och problematisk formulering ofta skiljer sig åt med bara några få ord. Slutligen, om dina team redan har producerat mänskliga preferenser, till exempel utvärderare som rankat svar A mot svar B, har du ditt DPO-korpus utan att behöva bygga det: dessa rankningar är dina par.

Dataformat

Formatet använder metoden dpo och ersätter messages-arrayen med tre nycklar: den delade kontexten i input, följt av de två jämförda utfallen. Notera nedan att det icke-föredragna svaret inte är absurt – det är helt enkelt defensivt och avslutar konversationen, medan det föredragna svaret erkänner invändningen och föreslår ett nästa steg.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

Att generera filen följer samma logik som för övervakad finjustering: ett par per rad, UTF-8-kodning, ensure_ascii=False. De två paren nedan illustrerar samma preferenskriterium tillämpat på två olika situationer, vilket är exakt vad du vill uppnå i hela korpuset.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Starta jobbet

Själva uppladdningen ändras inte; det är parametern method som skickas när jobbet skapas som växlar träningen till DPO-läge.

from openai import OpenAI

client = OpenAI()

# Ladda upp DPO-filen
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Skapa jobbet med DPO-metoden
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

Parametern beta styr styrkan på DPO-regulariseringen, det vill säga den frihet du ger modellen att avvika från sitt ursprungliga beteende. Ett lågt beta, mellan 0,05 och 0,1, låter modellen avvika mer från basmodellen för att följa dina preferenser: förändringen blir märkbar, men du riskerar att tappa kvaliteter du inte hade för avsikt att röra. Ett högt beta, mellan 0,2 och 0,5, håller modellen närmare basmodellen och ger mer konservativa ändringar – rätt inställning när du korrigerar en tonförskjutning hos en modell som i övrigt passar dig.

Bygga användbara par

Kvaliteten på ett DPO-korpus bedöms oftare utifrån de icke-föredragna svaren än de föredragna. Båda svaren måste vara trovärdiga: om det icke-föredragna svaret är absurt lär sig modellen bara att undvika absurditet, vilket den redan kunde, och du har inte vunnit något. Skillnaden måste därför vara tydlig utan att vara karikatyrartad, och fokusera på det kriterium du verkligen vill lära ut. Variera sedan typerna av situationer som täcks, annars kommer din modell att tillämpa den inlärda preferensen endast i en specifik kontext.

Konsekvens i bedömningar är den andra halvan av arbetet, och den förbereds innan det första paret skapas. Definiera dina preferenskriterier explicit, låt flera personer utvärdera och behåll endast de par där de är överens – en oenighet bland utvärderare signalerar ett tvetydigt par, varifrån modellen endast kommer att dra en motsägelsefull signal. För slutligen en skriftlig dokumentation av dessa kriterier. Vid nästa iteration, som leds av andra granskare, kommer ni att bedöma utifrån samma grund istället för att börja om diskussionen från början.

En sista kommentar om sekvensering av metoder. Den mest effektiva strategin består ofta av att inte välja: börja med övervakad finjustering för att lära ut grundläggande format och stil, och tillämpa sedan DPO på den redan finjusterade modellen för att förfina dess nyanser. Varje metod gör det den är bäst på, i den ordning som är användbar.

Viktiga punkter

  • DPO lär modellen att föredra vissa svar framför andra
  • Formatet använder par av föredraget/icke-föredraget svar
  • Parametern beta styr balansen mellan preferenser och stabilitet
  • DPO är idealiskt för tonnyanser, säkerhet och anpassning
  • Att kombinera SFT och sedan DPO ger ofta bäst resultat