Ir al contenido principal
Español— Elegir un idioma
Menú

Benchmarks y evaluaciones: leer entre líneas

Lección 12 de 14 Actualizado el 28 de julio de 2026 Principiante
En esta página
  1. Por qué importan los benchmarks (y por qué no bastan)
  2. Qué miden los benchmarks estandarizados
  3. Cuatro reglas para leer una tabla de puntuaciones
  4. Tres limitaciones estructurales
  5. Cruza fuentes y, después, haz tus propias pruebas
  6. Puntos clave

Por qué importan los benchmarks (y por qué no bastan)

Cada lanzamiento de modelo viene acompañado de una tabla de puntuaciones en benchmarks estandarizados; estas cifras circulan inalteradas en artículos de prensa y presentaciones internas. Son útiles: te dan una primera idea de las capacidades y te ayudan a situar un modelo en el panorama actual. Sin embargo, resultan engañosas en cuanto las interpretas sin saber qué miden realmente. Esta lección te muestra cómo leerlas con la perspectiva de un profesional, no con el entusiasmo de una nota de prensa.

Qué miden los benchmarks estandarizados

MMLU (Massive Multitask Language Understanding) evalúa el conocimiento general de un modelo en 57 dominios —historia, física, derecho, medicina, informática— mediante preguntas de opción múltiple. Mide la extensión del conocimiento factual, y nada más: ni la capacidad de razonamiento, ni la habilidad para seguir instrucciones complejas, ni la calidad de la redacción. Los mejores modelos superan ahora el 85-90 %, lo que también significa que el benchmark discrimina con menos eficacia en la parte alta de la clasificación. Un modelo excelente en MMLU puede seguir sin ser capaz de escribir un resumen ejecutivo legible.

HumanEval prueba la generación de código Python funcional a partir de una descripción en lenguaje natural, y MBPP (Mostly Basic Python Problems) hace lo mismo con problemas más sencillos. Estos benchmarks miden la capacidad de escribir una función aislada correcta. No dicen nada sobre la habilidad para trabajar en una base de código existente, depurar comportamientos inesperados o arquitecturar un proyecto, que es el núcleo del trabajo. Existen variantes, como HumanEval+ con pruebas más estrictas, y MultiPL-E para cubrir varios lenguajes.

LMArena, anteriormente Chatbot Arena, funciona de forma distinta: usuarios reales formulan preguntas a dos modelos anónimos y votan la mejor respuesta; la clasificación se construye con un sistema Elo tomado del ajedrez. Este montaje mide la calidad percibida en conversaciones libres, por lo que es el benchmark más cercano al uso en condiciones reales. Su debilidad es simétrica: no dice nada sobre el rendimiento en una tarea técnica precisa y favorece mecánicamente las respuestas agradables de leer.

Otras evaluaciones completan el panorama según la capacidad objetivo. GSM8K y MATH se centran en la resolución de problemas matemáticos; ARC, en el razonamiento científico de nivel secundario; HellaSwag, en la completitud de escenarios de sentido común; TruthfulQA, en la resistencia a alucinaciones y desinformación; y CTO Bench, en tareas de codificación de extremo a extremo mucho más realistas que HumanEval.

Cuatro reglas para leer una tabla de puntuaciones

La primera regla es comparar comparables. Comparar un modelo de 3.000 millones de parámetros con uno de 70.000 millones en las mismas columnas tiene poco sentido si ignoras la brecha de tamaño y coste. La pregunta relevante nunca es «quién tiene la mejor puntuación», sino «para un presupuesto dado, qué modelo ofrece los mejores resultados».

La segunda regla invita a ser cauteloso con las mejoras marginales. Una diferencia de uno o dos puntos en MMLU entre dos modelos suele ser insignificante: los benchmarks tienen una varianza natural y esa diferencia no se traducirá en nada perceptible para tus usuarios. Sin embargo, da excelentes titulares para notas de prensa.

La tercera regla es buscar coherencia. Un modelo que brilla en un benchmark y se mantiene promedio en todos los demás debería encender las alarmas; los modelos sólidos muestran un rendimiento regular en todas las evaluaciones.

La cuarta regla es comprobar la fecha. Las puntuaciones publicadas en el lanzamiento de un modelo pueden dejar de ser representativas unos meses después, porque han aparecido nuevos competidores y las metodologías de evaluación han evolucionado. Una tabla sin fecha en una presentación comercial debería llevarte a preguntar de dónde procede.

Tres limitaciones estructurales

La contaminación es la más insidiosa. Los modelos se entrenan con corpus de texto enormes que pueden contener las propias preguntas y respuestas de los benchmarks. Una puntuación alta puede reflejar entonces memorización en lugar de capacidad de razonamiento, sin ninguna mala intención.

La representatividad plantea un problema distinto: los benchmarks estandarizados no reflejan tu caso de uso. Un modelo que destaca en MMLU puede resultar mediocre para escribir correos electrónicos empresariales en francés, simplemente porque nadie ha evaluado nunca esa tarea. Los benchmarks miden capacidades genéricas, nunca el rendimiento en tu contexto.

La optimización, por último, es una consecuencia previsible del hype en torno a las clasificaciones. Los laboratorios conocen los benchmarks y pueden orientar el entrenamiento para rendir bien en ellos, a veces en detrimento de otras tareas. Es el fenómeno de «enseñar para el examen», bien documentado fuera de la inteligencia artificial.

Cruza fuentes y, después, haz tus propias pruebas

En lugar de confiar únicamente en las cifras publicadas por un proveedor —Mistral como cualquier otro—, crúzalas con clasificaciones independientes. Artificial Analysis compara calidad, precio, velocidad y latencia sobre una base homogénea. LMArena refleja la preferencia humana en condiciones reales. La Scale AI Leaderboard se centra en codificación, seguimiento de instrucciones y matemáticas. Las clasificaciones de OpenRouter se basan en el uso efectivo, es decir, en lo que los desarrolladores eligen realmente pagar. CTO Bench, por último, ofrece tareas de codificación de extremo a extremo realistas.

Sin embargo, la única evaluación que realmente determina tu decisión es la que realizas con tus datos, tus casos de uso y tus criterios de calidad. El método se reduce a seis pasos:

  1. Construye un conjunto de prueba de 20 a 50 ejemplos representativos de tu uso real
  2. Define explícitamente tus criterios de calidad (precisión, tono, exhaustividad, formato)
  3. Prueba 2 o 3 modelos candidatos sobre ese mismo conjunto
  4. Evalúa a ciegas si es posible, sin saber qué modelo ha generado cada respuesta
  5. Mide también la latencia y el coste por solicitud
  6. Decide en función de la relación calidad/coste/restricciones

La evaluación a ciegas merece un énfasis especial: nada sesga más un juicio que saber que una respuesta procede del modelo que esperabas que ganara.

Puntos clave

  • Los benchmarks ofrecen una primera indicación, pero no bastan para elegir un modelo
  • MMLU mide conocimiento, HumanEval código, LMArena preferencia humana
  • Cuidado con las diferencias marginales y la contaminación de los benchmarks
  • Consulta clasificaciones independientes (Artificial Analysis, LMArena, Scale AI)
  • La mejor evaluación es siempre la que haces con tus propios datos