Benchmarks e Avaliações — Ler nas Entrelinhas
Nesta página
Por que os Benchmarks São Importantes (e Por que Não São Suficientes)
Cada lançamento de modelo vem acompanhado de uma tabela de pontuações em benchmarks padronizados, e estes números circulam inalterados em artigos de imprensa e apresentações internas. São úteis: dão-lhe uma primeira ideia das capacidades e ajudam-no a posicionar um modelo no panorama atual. No entanto, tornam-se enganadores assim que os lê sem saber o que realmente medem. Esta lição mostra-lhe como interpretá-los com a perspetiva de um profissional, em vez do entusiasmo de um comunicado de imprensa.
O Que Medem os Benchmarks Padronizados
O MMLU (Massive Multitask Language Understanding) avalia o conhecimento geral de um modelo em 57 domínios — história, física, direito, medicina, informática — através de perguntas de escolha múltipla. Mede a extensão do conhecimento factual e nada mais: não a capacidade de raciocínio, não a aptidão para seguir instruções complexas, nem a qualidade da escrita. Os melhores modelos ultrapassam agora os 85% a 90%, o que também significa que o benchmark discrimina menos eficazmente no topo da classificação. Um modelo excelente no MMLU pode ainda assim falhar na redação de um resumo executivo legível.
O HumanEval testa a geração de código Python funcional a partir de uma descrição em linguagem natural, e o MBPP (Mostly Basic Python Problems) faz o mesmo com problemas mais simples. Estes benchmarks medem a capacidade de escrever uma função isolada correta. Não dizem nada sobre a capacidade de trabalhar numa base de código existente, depurar comportamentos inesperados ou arquitetar um projeto — o cerne da profissão. Existem variantes, como o HumanEval+ com testes mais rigorosos, e o MultiPL-E para cobrir várias linguagens.
O LMArena, anteriormente Chatbot Arena, funciona de forma diferente: utilizadores reais fazem perguntas a dois modelos anónimos e votam na melhor resposta, sendo a classificação construída com base num sistema Elo emprestado do xadrez. Esta configuração mede a qualidade percebida em conversas livres, tornando-se o benchmark mais próximo da utilização no mundo real. A sua fraqueza é simétrica: não diz nada sobre o desempenho numa tarefa técnica precisa e favorece mecanicamente respostas agradáveis de ler.
Outras avaliações completam o quadro consoante a capacidade visada. O GSM8K e o MATH focam-se na resolução de problemas matemáticos, o ARC no raciocínio científico de nível secundário, o HellaSwag na conclusão de cenários de senso comum, o TruthfulQA na resistência a alucinações e desinformação, e o CTO Bench em tarefas de codificação de ponta a ponta muito mais realistas do que o HumanEval.
Quatro Regras para Ler uma Tabela de Pontuações
A primeira regra é comparar comparáveis. Comparar um modelo de 3 mil milhões de parâmetros com um de 70 mil milhões nas mesmas colunas faz pouco sentido se ignorar a diferença de dimensão e custo. A pergunta relevante nunca é “quem tem a melhor pontuação”, mas “para um determinado orçamento, qual o modelo que oferece os melhores resultados”.
A segunda regra convida-o a cautela face a melhorias marginais. Uma diferença de um ou dois pontos no MMLU entre dois modelos é geralmente insignificante: os benchmarks têm uma variância natural e esta diferença não se traduzirá em nada perceptível para os seus utilizadores. No entanto, rende excelentes manchetes em comunicados de imprensa.
A terceira regra é procurar consistência. Um modelo que brilha num benchmark e permanece medíocre em todos os outros deve acender luzes de alerta; modelos sólidos mostram um desempenho regular em todas as avaliações.
A quarta regra é verificar a data. As pontuações publicadas no lançamento de um modelo podem já não ser representativas alguns meses depois, porque surgiram novos concorrentes e as metodologias de avaliação evoluíram. Uma tabela sem data numa apresentação comercial deve levá-lo a questionar a sua origem.
Três Limitações Estruturais
A contaminação é a mais insidiosa. Os modelos são treinados em enormes corpora de texto que podem conter as próprias perguntas e respostas dos benchmarks. Uma pontuação elevada pode então refletir memorização em vez de capacidade de raciocínio, sem qualquer má-fé envolvida.
A representatividade coloca um problema diferente: os benchmarks padronizados não refletem o seu caso de uso. Um modelo que se destaca no MMLU pode revelar-se medíocre na escrita de e-mails comerciais em francês, simplesmente porque ninguém avaliou alguma vez esta tarefa. Os benchmarks medem capacidades genéricas, nunca o desempenho no seu contexto.
A otimização, finalmente, é uma consequência previsível da histeria em torno das classificações. Os laboratórios conhecem os benchmarks e podem orientar o treino para obter bons resultados neles, por vezes em detrimento de outras tarefas. Este é o fenómeno de “ensinar para o teste”, bem documentado fora da inteligência artificial.
Cruzar Fontes e Testar por Si Mesmo
Em vez de confiar apenas nos números publicados por um fornecedor — a Mistral como qualquer outra —, cruze-os com classificações independentes. A Artificial Analysis compara qualidade, preço, velocidade e latência numa base homogénea. O LMArena reflete a preferência humana em condições reais. O Scale AI Leaderboard foca-se na codificação, seguimento de instruções e matemática. As classificações da OpenRouter baseiam-se na utilização efetiva, ou seja, naquilo pelo qual os programadores realmente escolhem pagar. O CTO Bench, por fim, oferece tarefas de codificação realistas de ponta a ponta.
No entanto, a única avaliação que verdadeiramente orienta a sua decisão é aquela que realiza com os seus dados, os seus casos de uso e os seus critérios de qualidade. O método resume-se a seis passos:
- Construa um conjunto de teste de 20 a 50 exemplos representativos da sua utilização real
- Defina explicitamente os seus critérios de qualidade (precisão, tom, completude, formato)
- Teste 2 ou 3 modelos candidatos neste mesmo conjunto
- Avalie às cegas, se possível, sem saber qual o modelo que produziu cada resposta
- Meça também a latência e o custo por pedido
- Decida com base na relação qualidade/custo/restrições
A avaliação às cegas merece ênfase especial: nada vicia mais um julgamento do que saber que uma resposta provém do modelo que esperava que vencesse.
Pontos-chave
- Os benchmarks dão uma primeira indicação, mas não são suficientes para escolher um modelo
- O MMLU mede conhecimento, o HumanEval código, o LMArena a preferência humana
- Cuidado com as diferenças marginais e a contaminação dos benchmarks
- Consulte classificações independentes (Artificial Analysis, LMArena, Scale AI)
- A melhor avaliação é sempre aquela que faz com os seus próprios dados