Ir al contenido principal
Español— Elegir un idioma
Menú

DPO (Optimización Directa de Preferencias)

Lección 8 de 16 Actualizado el 2 de noviembre de 2026 Avanzado
En esta página
  1. ¿Qué es DPO?
  2. Cuándo utilizarlo
  3. Formato de los datos
  4. Lanzamiento del trabajo
  5. Construcción de pares utilizables
  6. Puntos clave

Actualización 2 de noviembre de 2026 — Disponibilidad del ajuste fino. El servicio de ajuste fino (fine-tuning) de autoservicio de OpenAI está siendo retirado gradualmente: desde el 7 de mayo de 2026, las organizaciones que nunca lo han utilizado ya no pueden crear trabajos; desde el 2 de julio, debes haber usado un modelo ajustado en los últimos 60 días; y a partir del 6 de enero de 2027, ningún cliente podrá lanzar nuevos trabajos. Los modelos ya entrenados seguirán siendo utilizables hasta que se retire su modelo base. Este curso sigue siendo útil para comprender y aprovechar un modelo existente; para nuevos proyectos, prioriza la ingeniería de prompts, RAG y las evaluaciones.

¿Qué es DPO?

DPO (Direct Preference Optimization u Optimización Directa de Preferencias) es un método de ajuste fino que enseña a un modelo a preferir ciertas respuestas sobre otras. En lugar de mostrar solo la respuesta correcta, como hemos hecho hasta ahora, presentas un par: una respuesta preferida y una no preferida. El modelo aprende a maximizar la probabilidad de la primera mientras minimiza la de la segunda. La diferencia es más profunda de lo que parece: en el ajuste fino supervisado, defines un objetivo; en DPO, defines un límite.

Aspecto Supervisado (SFT) DPO
Datos Solo la respuesta correcta Par: respuesta preferida + no preferida
Objetivo Aprender a imitar Aprender a discriminar
Casos de uso Formato, estilo, clasificación Matiz de tono, seguridad, alineación
Datos necesarios Más de 50 ejemplos Más de 50 pares de preferencias

Cuándo utilizarlo

DPO tiene sentido, ante todo, cuando los matices importan; es decir, cuando la diferencia entre una respuesta buena y una excelente es sutil. Dos respuestas pueden ser precisas, estar bien formateadas y ser educadas, pero solo una se ajusta a lo que quieres transmitir; esa distinción no se capta bien con un ejemplo aislado, pero funciona perfectamente con una comparación. También se convierte en la herramienta natural cuando quieres evitar ciertos comportamientos: el ajuste fino supervisado no tiene forma de expresar un contraejemplo, mientras que DPO muestra explícitamente al modelo qué no debe hacer.

A continuación, todo lo relacionado con la alineación: seguridad, cumplimiento normativo, tono de marca; áreas donde la redacción aceptable y la problemática suelen diferir en apenas unas palabras. Por último, si tus equipos ya han generado preferencias humanas, por ejemplo, evaluadores que han clasificado la respuesta A frente a la respuesta B, ya tienes tu corpus para DPO sin necesidad de construirlo: esas clasificaciones son tus pares.

Formato de los datos

El formato utiliza el método dpo y reemplaza el array messages por tres claves: el contexto compartido en input, seguido de los dos resultados comparados. Observa a continuación que la respuesta no preferida no es absurda; simplemente es defensiva y cierra la conversación, mientras que la preferida reconoce la objeción y propone un siguiente paso.

{
  "method": "dpo",
  "input": [
    {
      "role": "system",
      "content": "You are a professional sales assistant."
    },
    {
      "role": "user",
      "content": "Your product is too expensive."
    }
  ],
  "preferred_output": [
    {
      "role": "assistant",
      "content": "I understand your concern about the price. Our solution includes premium support, unlimited updates, and a 99.9% availability guarantee. Compared to alternatives that charge for these services separately, our value for money is very competitive. May I show you a comparative analysis?"
    }
  ],
  "non_preferred_output": [
    {
      "role": "assistant",
      "content": "It's not expensive at all, it's the market price. If you can't afford it, we have a basic plan."
    }
  ]
}

La generación del archivo sigue la misma lógica que para el ajuste fino supervisado: un par por línea, codificación UTF-8, ensure_ascii=False. Los dos pares siguientes ilustran el mismo criterio de preferencia aplicado a dos situaciones diferentes, que es exactamente lo que debes lograr en todo el corpus.

import json

pairs = [
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "Your service isn't working!"}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I'm sorry for the inconvenience. Can you describe the problem you're experiencing? I'll do my best to resolve it quickly."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "It works fine for everyone else. Have you tried restarting your computer?"
            }
        ]
    },
    {
        "method": "dpo",
        "input": [
            {"role": "system", "content": "Friendly customer support assistant."},
            {"role": "user", "content": "I want a refund."}
        ],
        "preferred_output": [
            {
                "role": "assistant",
                "content": "I understand your request. Can you give me your order number? I'll check your refund eligibility and guide you through the process."
            }
        ],
        "non_preferred_output": [
            {
                "role": "assistant",
                "content": "Refunds aren't possible after 14 days. Read the T&Cs."
            }
        ]
    }
]

with open("dpo_training.jsonl", "w", encoding="utf-8") as f:
    for pair in pairs:
        f.write(json.dumps(pair, ensure_ascii=False) + "\n")

print(f"DPO file created: {len(pairs)} pairs")

Lanzamiento del trabajo

La subida no cambia; es el parámetro method que se pasa al crear el trabajo el que cambia el entrenamiento al modo DPO.

from openai import OpenAI

client = OpenAI()

# Upload the DPO file
file = client.files.create(
    file=open("dpo_training.jsonl", "rb"),
    purpose="fine-tune"
)

# Create the job with the DPO method
job = client.fine_tuning.jobs.create(
    training_file=file.id,
    model="gpt-5.6-luna",
    method={
        "type": "dpo",
        "dpo": {
            "hyperparameters": {
                "beta": 0.1  # Controls the strength of the preference
            }
        }
    },
    suffix="dpo-support-v1"
)

print(f"DPO job: {job.id}")

El parámetro beta controla la fuerza de la regularización de DPO, es decir, la libertad que das al modelo para desviarse de su comportamiento original. Un beta bajo, entre 0,05 y 0,1, permite que el modelo se aleje más del modelo base para seguir tus preferencias: el cambio es notable, pero corres el riesgo de arrastrar cualidades que no pretendías tocar. Un beta alto, entre 0,2 y 0,5, mantiene el modelo más cerca del base y produce cambios conservadores; es la configuración adecuada cuando estás corrigiendo una inflexión de tono en un modelo que, por lo demás, te conviene.

Construcción de pares utilizables

La calidad de un corpus DPO se juzga más por las respuestas no preferidas que por las preferidas. Ambas respuestas deben ser plausibles: si la no preferida es absurda, el modelo aprende a evitar el absurdo, algo que ya sabía hacer, y no habrás ganado nada. Por tanto, la diferencia debe ser clara sin ser caricaturesca y centrarse en el criterio que realmente quieres enseñar. Luego, varía los tipos de situaciones cubiertas; de lo contrario, tu modelo aplicará la preferencia aprendida a un único contexto y nada más.

La coherencia de los juicios es la otra mitad del trabajo, y se prepara antes del primer par. Define explícitamente tus criterios de preferencia, haz que varias personas evalúen y conserva solo los pares en los que estén de acuerdo: un desacuerdo entre evaluadores señala un par ambiguo, del que el modelo solo extraerá una señal contradictoria. Por último, deja constancia escrita de estos criterios. En la siguiente iteración, dirigida por otros revisores, juzgaréis sobre la misma base en lugar de volver a discutir desde cero.

Una última observación sobre la secuenciación de métodos. La estrategia más eficaz suele consistir en no elegir: primero el ajuste fino supervisado, para enseñar el formato y el estilo básicos, y luego DPO aplicado al modelo ya ajustado para refinar sus matices. Cada uno hace lo que mejor sabe hacer, en el orden útil.

Puntos clave

  • DPO enseña al modelo a preferir ciertas respuestas sobre otras
  • El formato utiliza pares preferred/non_preferred
  • El parámetro beta controla el equilibrio entre preferencias y estabilidad
  • DPO es ideal para matices de tono, seguridad y alineación
  • Combinar SFT y luego DPO suele ofrecer los mejores resultados