Avaliar um Agente de Código: SWE-bench e Além
Nesta página
Lição reescrita em 2 de novembro de 2026. A versão anterior listava níveis de pontuação do SWE-bench e uma tabela de concorrentes sem fontes; ambos foram removidos. Os dados do Devstral provêm do anúncio oficial da Mistral (9 de dezembro de 2025); os formatos do SWE-bench provêm do sítio do benchmark. O Devstral foi removido da API em 31 de julho de 2026: as suas pontuações servem aqui como exemplo de como ler resultados. Fontes: Devstral 2 e Mistral Vibe CLI (Mistral) · SWE-bench.
Avalie um Agente, Não uma Função
Como avalia objetivamente um modelo concebido para resolver problemas de desenvolvimento? Os benchmarks clássicos de geração de código, como o HumanEval ou o MBPP, verificam se um modelo consegue escrever uma função isolada a partir de um prompt. Não lhe dizem se ele consegue navegar num repositório com centenas de milhares de linhas e corrigir um erro real. Um modelo pode excelir na primeira tarefa e permanecer dececionante na segunda.
O SWE-bench colmata esta lacuna e tornou-se o padrão de referência para agentes de código.
SWE-bench: Tickets Reais, Testes Reais
O SWE-bench avalia modelos em tickets reais do GitHub provenientes de repositórios Python populares. O protocolo replica o fluxo de trabalho de um programador: o modelo recebe a descrição de um erro ou um pedido de funcionalidade sem saber onde procurar; explora o repositório, localiza o problema e propõe uma correção; essa correção é depois avaliada automaticamente pelos testes do próprio projeto — os mesmos que protegem o código em produção.
O benchmark está disponível em vários formatos:
| Formato | Conteúdo |
|---|---|
| SWE-bench (Full) | 2.294 tarefas recolhidas de 12 repositórios Python populares |
| SWE-bench Lite | 300 tarefas selecionadas para reduzir o custo de avaliação, mantendo a dificuldade |
| SWE-bench Verified | 500 tarefas filtradas por humanos, em colaboração com a OpenAI |
O sítio do benchmark publica também variantes Multilingue e Multimodal, úteis se o seu código não estiver em Python ou se os seus tickets incluírem capturas de ecrã.
Ler uma Pontuação: O Exemplo do Devstral
Uma pontuação de X% no SWE-bench significa que o agente resolveu X% dos tickets do conjunto de teste — ou seja, produziu uma correção que passa nos testes do projeto. Não significa que o modelo escreva bom código X% das vezes.
No seu lançamento, a 9 de dezembro de 2025, a Mistral anunciou 72,2% no SWE-bench Verified para o Devstral 2 (123 mil milhões de parâmetros) e 68,0% para o Devstral Small 2 (24 mil milhões). A diferença é pequena relativamente à disparidade de tamanho: foi isto que tornou o Devstral Small 2 interessante e é por isso que a documentação do Vibe ainda o recomenda hoje para uso local.
O mesmo anúncio ilustra uma ressalva essencial. A Mistral alegou um custo até sete vezes inferior ao do Claude Sonnet em tarefas reais, ao mesmo tempo que notava que os avaliadores humanos ainda preferiam fortemente o Claude Sonnet 4.5 face ao Devstral 2. Uma pontuação de benchmark, um valor de custo e uma preferência humana medem três coisas diferentes; nenhum substitui os outros dois.
O Que o SWE-bench Não Lhe Diz
O SWE-bench testa um estilo específico de trabalho: corrigir erros em projetos Python de código aberto com um conjunto de testes existente. O seu trabalho diário em TypeScript, Java, ou numa aplicação sem testes, pode não ter nada a ver com esta configuração.
As condições de avaliação têm um peso considerável: o número de tentativas permitidas, as ferramentas (scaffolding) fornecidas ao agente e os limites de tempo podem alterar as pontuações em vários pontos. Dois valores publicados separadamente por dois fornecedores com duas configurações de ferramentas diferentes não são, portanto, sempre comparáveis. Prefira classificações que avaliem modelos num enquadramento comum e leia sempre a metodologia antes do número.
O tamanho também importa, e não apenas para a fatura: um modelo de 24 mil milhões de parâmetros que caiba num único GPU é utilizável onde um modelo muito maior exige um cluster e uma equipa para o manter.
O Seu Próprio Benchmark
A melhor avaliação é aquela que constrói no seu próprio repositório. Pegue em três a cinco tickets já resolvidos, juntamente com a correção que a sua equipa escreveu e os testes associados. Peça aos modelos candidatos que os processem — por exemplo, o Mistral Small 4 e o Large 4 via API, ou o Vibe Code com o seu modelo integrado — e depois compare:
- Taxa de sucesso: Os testes passam com a correção proposta?
- Qualidade do diff: É mínima, legível e está em conformidade com as suas convenções?
- Custo e tempo: Tokens consumidos, duração da sessão, número de intervenções humanas.
Nenhuma classificação pública substituirá este teste, e pode repeti-lo numa hora com cada novo modelo.
Pontos-chave
- O SWE-bench avalia agentes em tickets reais do GitHub, julgados pelos testes do projeto
- Três formatos principais: Full (2.294 tarefas), Lite (300), Verified (500, filtradas por humanos)
- O Devstral 2 e o Devstral Small 2 anunciaram 72,2% e 68,0% no SWE-bench Verified
- Pontuação, custo e preferência humana medem coisas diferentes; as ferramentas de avaliação alteram os números
- O teste decisivo corre nos seus próprios tickets resolvidos