Pruebas A/B y métricas de negocio
En esta página
Actualización 2 de noviembre de 2026 — Disponibilidad del ajuste fino. El servicio de ajuste fino (fine-tuning) de autoservicio de OpenAI está siendo retirado gradualmente: desde el 7 de mayo de 2026, las organizaciones que nunca lo han utilizado ya no pueden crear trabajos; desde el 2 de julio, es necesario haber usado un modelo ajustado en los últimos 60 días; y a partir del 6 de enero de 2027, ningún cliente podrá lanzar nuevos trabajos. Los modelos ya entrenados seguirán siendo utilizables hasta que se retire su modelo base. Este curso sigue siendo útil para comprender y aprovechar un modelo existente; para nuevos proyectos, prioriza la ingeniería de prompts, RAG y las evaluaciones.
Más allá de la pérdida: medir el impacto en el negocio
La pérdida de entrenamiento y las puntuaciones de calidad no son suficientes. Lo que realmente importa es el impacto de tu modelo ajustado en tus KPIs de negocio: satisfacción del cliente, tiempo de resolución y tasa de conversión. Un modelo puede generar respuestas que tus revisores consideren elegantes y, al mismo tiempo, aumentar la tasa de escalado a tus agentes humanos. Ese segundo número decide el futuro del proyecto, no el primero.
Configuración de una prueba A/B
Una prueba A/B compara dos variantes bajo condiciones reales con tráfico auténtico. El grupo A, o grupo de control, recibe respuestas del modelo base con tu prompt optimizado; el grupo B, o grupo de prueba, obtiene respuestas del modelo ajustado. Los usuarios se asignan aleatoriamente a ambos grupos y mides los resultados utilizando las mismas métricas. Toda la validez del ejercicio depende de esta asignación: si el grupo B recibe por casualidad las solicitudes más sencillas, su aparente superioridad no mide nada más que esa suerte.
La función choisir_variante resuelve este problema mediante el hash del ID de usuario. Este enfoque garantiza que el mismo usuario vea siempre la misma variante, algo esencial, ya que alternar entre sesiones expondría a la persona a dos estilos de respuesta y sesgaría su valoración de satisfacción. Produce una distribución estadísticamente equilibrada una vez que el volumen es suficiente y se mantiene reproducible: volver a ejecutar el cálculo más tarde genera exactamente los mismos grupos, lo que te permite recalcular una métrica olvidada sin relanzar la prueba.
import random
import hashlib
from openai import OpenAI
client = OpenAI()
MODELE_BASE = "gpt-5.6-luna"
MODELE_FT = "ft:gpt-5.6-luna:org::suffix:xxxxxxxx"
PROMPT_BASE = "You are a professional customer support assistant..."
def choisir_variante(user_id: str, pourcentage_test: int = 50) -> str:
"""Asigna un usuario al grupo A o B de forma determinista."""
h = int(hashlib.md5(user_id.encode()).hexdigest(), 16)
return "B" if (h % 100) < pourcentage_test else "A"
def repondre(user_id: str, question: str) -> dict:
"""Responde con el modelo correcto según el grupo A/B."""
variante = choisir_variante(user_id)
if variante == "A":
response = client.responses.create(
model=MODELE_BASE,
instructions=PROMPT_BASE,
input=question
)
else:
response = client.responses.create(
model=MODELE_FT,
input=question
)
return {
"variante": variante,
"modele": MODELE_BASE if variante == "A" else MODELE_FT,
"reponse": response.output_text,
"user_id": user_id
}
Elección de las métricas de negocio adecuadas
Los indicadores a seguir dependen totalmente de lo que se supone que debe entregar tu asistente, y cada familia de casos de uso tiene los suyos propios.
Para un servicio de atención al cliente, la tasa de resolución en el primer contacto responde a la pregunta más concreta: ¿necesitó el usuario volver a contactar con soporte? La puntuación CSAT, una valoración de satisfacción del 1 al 5 recogida tras la interacción, capta el sentimiento que las métricas automatizadas pasan por alto. El tiempo de resolución mide la duración total del intercambio, y la tasa de escalado —la parte de conversaciones transferidas a un humano— se lee como una admisión de fallo del modelo en los casos implicados. Un ajuste fino exitoso suele reducir simultáneamente ambos últimos indicadores.
Para un chatbot de ventas, el razonamiento se desplaza hacia abajo en el embudo. La tasa de conversión cuenta las conversaciones que llevan a una compra o cita; la tasa de participación, expresada como el número medio de mensajes por conversación, requiere una interpretación cuidadosa, ya que un intercambio más largo podría señalar tanto interés como incomprensión; la tasa de rebote aísla a los usuarios que se marchan tras el primer mensaje, a menudo porque la respuesta inicial no dio en el clavo.
Para una tarea de clasificación o extracción, volvemos al trío clásico. La precisión ofrece el porcentaje de clasificaciones correctas, la exhaustividad (recall) el porcentaje de casos positivos realmente detectados, y la puntuación F1, la media armónica de ambas, evita conformarse con un modelo que nunca predice la clase rara solo para evitar errores.
Recopilación de mediciones
Estos indicadores son inútiles si viven en tres hojas de cálculo separadas. Un único recopilador, alimentado en cada interacción, mantiene la variante junto a la métrica y permite generar un informe comparativo con un solo comando. La clase ABTracker siguiente realiza este trabajo mínimo: registra y luego agrupa por variante para calcular medias y tasas.
import datetime
class ABTracker:
"""Recopilador de métricas para pruebas A/B."""
def __init__(self):
self.events = []
def log_interaction(
self,
user_id: str,
variante: str,
question: str,
reponse: str,
metriques: dict
):
"""Registra una interacción con sus métricas."""
self.events.append({
"timestamp": datetime.datetime.now().isoformat(),
"user_id": user_id,
"variante": variante,
"question": question,
"reponse": reponse,
**metriques
})
def rapport(self) -> dict:
"""Genera un informe comparativo A frente a B."""
groupes = {"A": [], "B": []}
for e in self.events:
groupes[e["variante"]].append(e)
rapport = {}
for variante, events in groupes.items():
if not events:
continue
rapport[variante] = {
"nb_interactions": len(events),
"csat_moyen": self._moyenne(events, "csat"),
"resolution_premier_contact": self._taux(events, "resolu"),
"temps_moyen_sec": self._moyenne(events, "temps_resolution"),
}
return rapport
def _moyenne(self, events, cle):
vals = [e[cle] for e in events if cle in e and e[cle] is not None]
return sum(vals) / len(vals) if vals else None
def _taux(self, events, cle):
vals = [e[cle] for e in events if cle in e]
return sum(vals) / len(vals) * 100 if vals else None
tracker = ABTracker()
Esperar a la significación estadística
No saques conclusiones demasiado pronto. Tras veinte interacciones por grupo, una brecha de 0,4 puntos en el CSAT no tiene valor: bastan tres clientes satisfechos para producirla. Necesitas suficientes interacciones para que los resultados sean significativos, y los puntos de referencia siguientes te dan el orden de magnitud al que debes aspirar antes incluso de mirar los números.
Una vez alcanzado ese volumen, una prueba estadística decide por ti. La prueba de Mann-Whitney funciona bien para las puntuaciones de satisfacción, que son valoraciones ordinales raramente distribuidas de forma normal. Su valor p responde a una pregunta precisa: ¿cuál es la probabilidad de observar una brecha tan grande si los dos modelos fueran en realidad iguales? Por debajo de 0,05, la hipótesis del simple azar se vuelve difícil de defender.
from scipy import stats
def test_significativite(scores_a: list[float], scores_b: list[float]):
"""Comprueba si la diferencia entre A y B es significativa."""
stat, p_value = stats.mannwhitneyu(scores_a, scores_b, alternative="two-sided")
moy_a = sum(scores_a) / len(scores_a)
moy_b = sum(scores_b) / len(scores_b)
print(f"Mean A: {moy_a:.3f}")
print(f"Mean B: {moy_b:.3f}")
print(f"p-value: {p_value:.4f}")
if p_value < 0.05:
gagnant = "B (fine-tuned)" if moy_b > moy_a else "A (base)"
print(f"Significant difference — {gagnant} is better")
else:
print("No significant difference")
Escalado gradual
Incluso una prueba exitosa no justifica cambiar todo el tráfico de la noche a la mañana: un defecto que aparece solo una vez entre mil permanece invisible en una muestra y se vuelve muy visible a volumen completo. Procede en etapas de una semana, comprobando tus métricas en cada paso antes de abrir el siguiente.
- Fase 1 (1 semana): 10 % de tráfico en el modelo ajustado
- Fase 2 (1 semana): 30 % si las métricas son positivas
- Fase 3 (1 semana): 50 % para la prueba A/B principal
- Fase 4: 100 % si la prueba es concluyente
Si una etapa degrada tus métricas, vuelve a la anterior en lugar de abrir la siguiente con la esperanza de que el número se recupere por sí solo. Una semana dedicada a entender el porqué siempre cuesta menos que un mes de tráfico servido por un modelo decepcionante.
Puntos clave
- Las métricas de negocio importan más que la pérdida de entrenamiento
- Usa hashing determinista para la asignación A/B
- Espera a la significación estadística antes de concluir (p < 0,05)
- Despliega gradualmente: 10 %, 30 %, 50 %, 100 %
- Mide costes y latencia además de la calidad