Evaluación de un agente de código: SWE-bench y más allá
En esta página
Lección reescrita el 2 de noviembre de 2026. La versión anterior incluía niveles de puntuación de SWE-bench y una tabla de competidores sin fuentes; ambos se han eliminado. Las cifras de Devstral proceden del anuncio oficial de Mistral (9 de diciembre de 2025); los formatos de SWE-bench provienen del sitio web del benchmark. Devstral se retiró de la API el 31 de julio de 2026: sus puntuaciones sirven aquí como ejemplo de cómo interpretar los resultados. Fuentes: Devstral 2 y Mistral Vibe CLI (Mistral) · SWE-bench.
Mide un agente, no una función
¿Cómo evalúas objetivamente un modelo diseñado para resolver problemas de desarrollo? Los benchmarks clásicos de generación de código, como HumanEval o MBPP, verifican si un modelo es capaz de escribir una función aislada a partir de una instrucción. No te indican si puede navegar por un repositorio con cientos de miles de líneas y corregir un error real. Un modelo puede destacar en la primera tarea y resultar decepcionante en la segunda.
SWE-bench cubre este vacío y se ha convertido en el estándar de referencia para los agentes de código.
SWE-bench: incidencias reales, pruebas reales
SWE-bench evalúa modelos utilizando incidencias reales de GitHub procedentes de repositorios populares de Python. El protocolo reproduce el flujo de trabajo de un desarrollador: el modelo recibe una descripción de un error o una solicitud de funcionalidad sin que se le indique dónde buscar; explora el repositorio, localiza el problema y propone una corrección; dicha corrección se juzga automáticamente mediante las pruebas propias del proyecto, las mismas que protegen el código en producción.
El benchmark se presenta en varios formatos:
| Formato | Contenido |
|---|---|
| SWE-bench (Full) | 2.294 tareas recopiladas de 12 repositorios populares de Python |
| SWE-bench Lite | 300 tareas seleccionadas para reducir el coste de evaluación manteniendo la dificultad |
| SWE-bench Verified | 500 tareas filtradas por humanos, en colaboración con OpenAI |
El sitio web del benchmark también publica variantes Multilingüe y Multimodal, útiles si tu código no está en Python o si tus incidencias incluyen capturas de pantalla.
Cómo interpretar una puntuación: el ejemplo de Devstral
Una puntuación de X % en SWE-bench significa que el agente resolvió el X % de las incidencias del conjunto de prueba; es decir, produjo una corrección que supera las pruebas del proyecto. No significa que el modelo escriba buen código el X % de las veces.
En su lanzamiento el 9 de diciembre de 2025, Mistral anunció un 72,2 % en SWE-bench Verified para Devstral 2 (123 mil millones de parámetros) y un 68,0 % para Devstral Small 2 (24 mil millones). La brecha es pequeña en relación con la diferencia de tamaño: esto es lo que hizo interesante a Devstral Small 2 y la razón por la que la documentación de Vibe sigue recomendándolo hoy para uso local.
El mismo anuncio ilustra una advertencia esencial. Mistral afirmó un coste hasta siete veces inferior al de Claude Sonnet en tareas reales, al tiempo que señalaba que los evaluadores humanos seguían prefiriendo claramente Claude Sonnet 4.5 frente a Devstral 2. Una puntuación de benchmark, una cifra de coste y una preferencia humana miden tres cosas distintas; ninguna sustituye a las otras dos.
Lo que SWE-bench no te dice
SWE-bench prueba un estilo de trabajo específico: corregir errores en proyectos Python de código abierto con un conjunto de pruebas existente. Tu trabajo diario en TypeScript, Java o en una aplicación sin pruebas puede no tener nada que ver con este entorno.
Las condiciones de evaluación tienen un peso considerable: el número de intentos permitidos, las herramientas (scaffolding) proporcionadas al agente y los límites de tiempo pueden variar las puntuaciones en varios puntos. Por tanto, dos cifras publicadas por separado por dos proveedores con dos configuraciones de herramientas distintas no siempre son comparables. Prefiere clasificaciones que evalúen modelos en un marco común y lee siempre la metodología antes que la cifra.
El tamaño también importa, y no solo por la factura: un modelo de 24 mil millones de parámetros que cabe en una única GPU es utilizable allí donde un modelo mucho mayor requiere un clúster y un equipo para mantenerlo.
Tu propio benchmark
La mejor evaluación es la que construyes sobre tu propio repositorio. Toma de tres a cinco incidencias ya resueltas, junto con la corrección que escribió tu equipo y las pruebas asociadas. Haz que los modelos candidatos las procesen —por ejemplo, Mistral Small 4 y Large 4 a través de la API, o Vibe Code con su modelo integrado— y luego compara:
- Tasa de éxito: ¿Superan las pruebas con la corrección propuesta?
- Calidad del diff: ¿Es mínima, legible y conforme a tus convenciones?
- Coste y tiempo: Tokens consumidos, duración de la sesión, número de intervenciones humanas.
Ninguna clasificación pública sustituirá a esta prueba, y puedes volver a ejecutarla en una hora con cada nuevo modelo.
Puntos clave
- SWE-bench evalúa agentes en incidencias reales de GitHub, juzgadas por las pruebas del proyecto
- Tres formatos principales: Full (2.294 tareas), Lite (300), Verified (500, filtradas por humanos)
- Devstral 2 y Devstral Small 2 anunciaron un 72,2 % y un 68,0 % en SWE-bench Verified
- La puntuación, el coste y la preferencia humana miden cosas distintas; las herramientas de evaluación cambian las cifras
- La prueba decisiva se ejecuta sobre tus propias incidencias resueltas