Ir para o conteúdo principal
Português— Escolher um idioma
Menu

DPO (Otimização Direta de Preferências)

Aula 8 de 16 Atualizada a 2 de novembro de 2026 Avancado
Nesta página
  1. O que é o DPO?
  2. Quando Utilizá-lo
  3. Formato dos Dados
  4. Lançar a Tarefa
  5. Construir Pares Utilizáveis
  6. Pontos-chave

Atualização de 2 de novembro de 2026 — Disponibilidade do fine-tuning. O serviço de fine-tuning self-service da OpenAI está a ser descontinuado: desde 7 de maio de 2026, as organizações que nunca o utilizaram já não podem criar tarefas; desde 2 de julho, é necessário ter utilizado um modelo com fine-tuning nos últimos 60 dias; e a partir de 6 de janeiro de 2027, nenhum cliente poderá lançar novas tarefas. Os modelos já treinados permanecem utilizáveis até que o seu modelo base seja desativado. Este curso mantém a sua utilidade para compreender e aproveitar um modelo existente; para novos projetos, priorize a engenharia de prompts, a RAG e as avaliações.

O que é o DPO?

O DPO (Direct Preference Optimization ou Otimização Direta de Preferências) é um método de fine-tuning que ensina um modelo a preferir certas respostas em detrimento de outras. Em vez de apresentar apenas a resposta correta, como fizemos até agora, você apresenta um par: uma resposta preferida e uma resposta não preferida. O modelo aprende a maximizar a probabilidade da primeira enquanto minimiza a da segunda. A diferença é mais profunda do que parece: no fine-tuning supervisionado, você define um alvo; no DPO, você define um limite.

Aspeto Supervisionado (SFT) DPO
Dados Apenas a resposta correta Par: resposta preferida + não preferida
Objetivo Aprender a imitar Aprender a discriminar
Casos de uso Formato, estilo, classificação Tom subtil, segurança, alinhamento
Dados necessários 50+ exemplos 50+ pares de preferências

Quando Utilizá-lo

O DPO faz sentido, em primeiro lugar, quando as nuances importam — ou seja, quando a diferença entre uma boa resposta e uma resposta excelente é subtil. Duas respostas podem ser ambas precisas, bem formatadas e educadas, mas apenas uma corresponde ao que você deseja transmitir; essa distinção não fica clara com um exemplo isolado, mas funciona perfeitamente com uma comparação. Torna-se também a ferramenta natural quando quer evitar certos comportamentos: o fine-tuning supervisionado não tem forma de expressar um contraexemplo, enquanto o DPO mostra explicitamente ao modelo o que não fazer.

Em seguida, vem tudo o que diz respeito ao alinhamento — segurança, conformidade, tom de marca — áreas onde as formulações aceitáveis e problemáticas diferem muitas vezes por apenas algumas palavras. Por fim, se as suas equipas já produziram preferências humanas, por exemplo, avaliadores que classificaram a resposta A face à resposta B, você já tem o seu corpus para DPO sem precisar de o construir: essas classificações são os seus pares.

Formato dos Dados

O formato utiliza o método dpo e substitui o array messages por três chaves: o contexto partilhado em input, seguido dos dois resultados comparados. Note abaixo que a resposta não preferida não é absurda — é simplesmente defensiva e encerra a conversa, enquanto a preferida reconhece a objeção e propõe um próximo passo.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

A geração do ficheiro segue a mesma lógica do fine-tuning supervisionado: um par por linha, codificação UTF-8, ensure_ascii=False. Os dois pares abaixo ilustram o mesmo critério de preferência aplicado a duas situações diferentes, que é exatamente o que você pretende alcançar em todo o corpus.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Lançar a Tarefa

O carregamento não muda; é o parâmetro method passado aquando da criação da tarefa que alterna o treino para o modo DPO.

from openai import OpenAI

client = OpenAI()

# Carregar o ficheiro DPO
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Criar a tarefa com o método DPO
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

O beta controla a força da regularização do DPO, ou seja, a liberdade que dá ao modelo para se desviar do seu comportamento original. Um beta baixo, entre 0,05 e 0,1, permite que o modelo se afaste mais do modelo base para seguir as suas preferências: a mudança é notória, mas corre o risco de levar consigo qualidades que não pretendia tocar. Um beta alto, entre 0,2 e 0,5, mantém o modelo mais próximo do modelo base e produz alterações conservadoras — a configuração correta quando está a corrigir uma inflexão de tom num modelo que, de resto, lhe convém.

Construir Pares Utilizáveis

A qualidade de um corpus DPO julga-se mais pelas respostas não preferidas do que pelas preferidas. Ambas as respostas devem ser plausíveis: se a não preferida for absurda, o modelo aprende a evitar o absurdo, algo que já sabia fazer, e você não ganha nada. A diferença deve, portanto, ser clara sem ser caricatural, e focar-se no critério que realmente quer ensinar. Varie depois os tipos de situações abrangidas, caso contrário o seu modelo aplicará a preferência aprendida a um único contexto.

A consistência dos julgamentos é a outra metade do trabalho, e prepara-se antes do primeiro par. Defina explicitamente os seus critérios de preferência, faça com que várias pessoas avaliem e mantenha apenas os pares sobre os quais há concordância — um desacordo entre avaliadores sinaliza um par ambíguo, do qual o modelo retirará apenas um sinal contraditório. Por fim, mantenha um registo escrito desses critérios. Na próxima iteração, liderada por outros revisores, você julgará com base nos mesmos fundamentos em vez de reiniciar a discussão do zero.

Uma última observação sobre a sequenciação de métodos. A estratégia mais eficaz consiste muitas vezes em não escolher: primeiro o fine-tuning supervisionado, para ensinar o formato e o estilo básicos, e depois o DPO aplicado ao modelo já afinado para refinar as suas nuances. Cada um faz o que sabe fazer de melhor, na ordem que é útil.

Pontos-chave

  • O DPO ensina o modelo a preferir certas respostas em detrimento de outras
  • O formato utiliza pares preferred/non_preferred
  • O parâmetro beta controla o equilíbrio entre preferências e estabilidade
  • O DPO é ideal para nuances de tom, segurança e alinhamento
  • Combinar SFT e depois DPO produz frequentemente os melhores resultados