Vai al contenuto principale
Italiano— Scegli una lingua
Menu

DPO (Direct Preference Optimization)

Lezione 8 di 16 Aggiornata il 2 novembre 2026 Avanzato
In questa pagina
  1. Cos’è il DPO?
  2. Quando usarlo
  3. Formato dei dati
  4. Avvio del job
  5. Costruire coppie utilizzabili
  6. Punti chiave

Aggiornamento 2 novembre 2026 — Disponibilità del fine-tuning. Il servizio di fine-tuning self-service di OpenAI sta venendo dismesso: dal 7 maggio 2026, le organizzazioni che non lo hanno mai utilizzato non possono più creare job; dal 2 luglio, devi aver usato un modello fine-tunato negli ultimi 60 giorni; e a partire dal 6 gennaio 2027, nessun cliente potrà avviare nuovi job. I modelli già addestrati rimangono utilizzabili fino al pensionamento del loro modello base. Questo corso resta utile per comprendere e sfruttare un modello esistente; per i nuovi progetti, dai priorità al prompt engineering, al RAG e alle valutazioni.

Cos’è il DPO?

Il DPO (Direct Preference Optimization) è un metodo di fine-tuning che insegna a un modello a preferire certe risposte rispetto ad altre. Invece di mostrare solo la risposta corretta, come abbiamo fatto finora, presenti una coppia: una risposta preferita e una non preferita. Il modello impara a massimizzare la probabilità della prima minimizzando quella della seconda. La differenza è più profonda di quanto sembri: nel supervised fine-tuning definisci un target; nel DPO definisci un confine.

Aspetto Supervised (SFT) DPO
Dati Solo la risposta corretta Coppia: risposta preferita + non preferita
Obiettivo Imparare a imitare Imparare a discriminare
Casi d'uso Formato, stile, classificazione Sfumature di tono, sicurezza, allineamento
Dati richiesti 50+ esempi 50+ coppie di preferenze

Quando usarlo

Il DPO ha senso innanzitutto quando contano le sfumature, ovvero quando la differenza tra una risposta buona e una eccellente è sottile. Due risposte possono essere entrambe accurate, ben formattate e cortesi, eppure solo una corrisponde a ciò che vuoi comunicare; questa distinzione non emerge bene con un esempio isolato, ma funziona perfettamente con un confronto. Diventa inoltre lo strumento naturale quando vuoi evitare certi comportamenti: il supervised fine-tuning non ha modo di esprimere un contro-esempio, mentre il DPO mostra esplicitamente al modello cosa non fare.

Segue tutto ciò che riguarda l’allineamento: sicurezza, conformità, tono del brand, ambiti in cui le formulazioni accettabili e quelle problematiche spesso differiscono per poche parole. Infine, se i tuoi team hanno già prodotto preferenze umane, ad esempio valutatori che hanno classificato la risposta A rispetto alla risposta B, hai già il tuo corpus DPO senza doverlo costruire: quelle classifiche sono le tue coppie.

Formato dei dati

Il formato utilizza il metodo dpo e sostituisce l’array messages con tre chiavi: il contesto condiviso in input, seguito dai due esiti confrontati. Nota qui sotto che la risposta non preferita non è assurda: è semplicemente difensiva e chiude la conversazione, mentre quella preferita riconosce l’obiezione e propone un passo successivo.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

La generazione del file segue la stessa logica del supervised fine-tuning: una coppia per riga, codifica UTF-8, ensure_ascii=False. Le due coppie qui sotto illustrano lo stesso criterio di preferenza applicato a due situazioni diverse, esattamente ciò che devi ottenere sull’intero corpus.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Avvio del job

Il caricamento non cambia; è il parametro method passato alla creazione del job che attiva la modalità di addestramento DPO.

from openai import OpenAI

client = OpenAI()

# Carica il file DPO
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Crea il job con il metodo DPO
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controlla l'intensità della preferenza
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

Il parametro beta controlla la forza della regolarizzazione DPO, ovvero la libertà che dai al modello di discostarsi dal suo comportamento originale. Un beta basso, tra 0,05 e 0,1, permette al modello di allontanarsi maggiormente dal modello base per seguire le tue preferenze: il cambiamento è evidente, ma rischi di trascinare con sé qualità che non intendevi toccare. Un beta alto, tra 0,2 e 0,5, mantiene il modello più vicino a quello base e produce modifiche conservative: l’impostazione giusta quando correggi un’inflessione di tono su un modello che altrimenti ti soddisfa.

Costruire coppie utilizzabili

La qualità di un corpus DPO si giudica più sulle risposte non preferite che su quelle preferite. Entrambe le risposte devono essere plausibili: se quella non preferita è assurda, il modello impara solo a evitare l’assurdità, cosa che sapeva già fare, e non hai guadagnato nulla. La differenza deve quindi essere chiara senza essere caricaturale e concentrarsi sul criterio che vuoi davvero insegnare. Varia poi i tipi di situazioni coperte, altrimenti il tuo modello applicherà la preferenza appresa a un solo contesto e nient’altro.

La coerenza dei giudizi è l’altra metà del lavoro e si prepara prima della prima coppia. Definisci esplicitamente i tuoi criteri di preferenza, fai valutare da più persone e mantieni solo le coppie su cui concordano: un disaccordo tra valutatori segnala una coppia ambigua, da cui il modello trarrà solo un segnale contraddittorio. Infine, tieni una traccia scritta di questi criteri. Alla prossima iterazione, condotta da altri revisori, giudicherai sulla stessa base invece di riavviare la discussione da zero.

Un’ultima osservazione sulla sequenza dei metodi. La strategia più efficace spesso consiste nel non scegliere: prima il supervised fine-tuning, per insegnare formato e stile di base, poi il DPO applicato al modello già fine-tunato per affinarne le sfumature. Ognuno fa ciò che sa fare meglio, nell’ordine utile.

Punti chiave

  • Il DPO insegna al modello a preferire certe risposte rispetto ad altre
  • Il formato utilizza coppie preferred/non_preferred
  • Il parametro beta controlla l’equilibrio tra preferenze e stabilità
  • Il DPO è ideale per sfumature di tono, sicurezza e allineamento
  • Combinare SFT e poi DPO offre spesso i risultati migliori