Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Benchmarks e Avaliações — Ler nas Entrelinhas

Aula 12 de 14 Atualizada a 28 de julho de 2026 Iniciante
Nesta página
  1. Por que os Benchmarks São Importantes (e Por que Não São Suficientes)
  2. O Que Medem os Benchmarks Padronizados
  3. Quatro Regras para Ler uma Tabela de Pontuações
  4. Três Limitações Estruturais
  5. Cruzar Fontes e Testar por Si Mesmo
  6. Pontos-chave

Por que os Benchmarks São Importantes (e Por que Não São Suficientes)

Cada lançamento de modelo vem acompanhado de uma tabela de pontuações em benchmarks padronizados, e estes números circulam inalterados em artigos de imprensa e apresentações internas. São úteis: dão-lhe uma primeira ideia das capacidades e ajudam-no a posicionar um modelo no panorama atual. No entanto, tornam-se enganadores assim que os lê sem saber o que realmente medem. Esta lição mostra-lhe como interpretá-los com a perspetiva de um profissional, em vez do entusiasmo de um comunicado de imprensa.

O Que Medem os Benchmarks Padronizados

O MMLU (Massive Multitask Language Understanding) avalia o conhecimento geral de um modelo em 57 domínios — história, física, direito, medicina, informática — através de perguntas de escolha múltipla. Mede a extensão do conhecimento factual e nada mais: não a capacidade de raciocínio, não a aptidão para seguir instruções complexas, nem a qualidade da escrita. Os melhores modelos ultrapassam agora os 85% a 90%, o que também significa que o benchmark discrimina menos eficazmente no topo da classificação. Um modelo excelente no MMLU pode ainda assim falhar na redação de um resumo executivo legível.

O HumanEval testa a geração de código Python funcional a partir de uma descrição em linguagem natural, e o MBPP (Mostly Basic Python Problems) faz o mesmo com problemas mais simples. Estes benchmarks medem a capacidade de escrever uma função isolada correta. Não dizem nada sobre a capacidade de trabalhar numa base de código existente, depurar comportamentos inesperados ou arquitetar um projeto — o cerne da profissão. Existem variantes, como o HumanEval+ com testes mais rigorosos, e o MultiPL-E para cobrir várias linguagens.

O LMArena, anteriormente Chatbot Arena, funciona de forma diferente: utilizadores reais fazem perguntas a dois modelos anónimos e votam na melhor resposta, sendo a classificação construída com base num sistema Elo emprestado do xadrez. Esta configuração mede a qualidade percebida em conversas livres, tornando-se o benchmark mais próximo da utilização no mundo real. A sua fraqueza é simétrica: não diz nada sobre o desempenho numa tarefa técnica precisa e favorece mecanicamente respostas agradáveis de ler.

Outras avaliações completam o quadro consoante a capacidade visada. O GSM8K e o MATH focam-se na resolução de problemas matemáticos, o ARC no raciocínio científico de nível secundário, o HellaSwag na conclusão de cenários de senso comum, o TruthfulQA na resistência a alucinações e desinformação, e o CTO Bench em tarefas de codificação de ponta a ponta muito mais realistas do que o HumanEval.

Quatro Regras para Ler uma Tabela de Pontuações

A primeira regra é comparar comparáveis. Comparar um modelo de 3 mil milhões de parâmetros com um de 70 mil milhões nas mesmas colunas faz pouco sentido se ignorar a diferença de dimensão e custo. A pergunta relevante nunca é “quem tem a melhor pontuação”, mas “para um determinado orçamento, qual o modelo que oferece os melhores resultados”.

A segunda regra convida-o a cautela face a melhorias marginais. Uma diferença de um ou dois pontos no MMLU entre dois modelos é geralmente insignificante: os benchmarks têm uma variância natural e esta diferença não se traduzirá em nada perceptível para os seus utilizadores. No entanto, rende excelentes manchetes em comunicados de imprensa.

A terceira regra é procurar consistência. Um modelo que brilha num benchmark e permanece medíocre em todos os outros deve acender luzes de alerta; modelos sólidos mostram um desempenho regular em todas as avaliações.

A quarta regra é verificar a data. As pontuações publicadas no lançamento de um modelo podem já não ser representativas alguns meses depois, porque surgiram novos concorrentes e as metodologias de avaliação evoluíram. Uma tabela sem data numa apresentação comercial deve levá-lo a questionar a sua origem.

Três Limitações Estruturais

A contaminação é a mais insidiosa. Os modelos são treinados em enormes corpora de texto que podem conter as próprias perguntas e respostas dos benchmarks. Uma pontuação elevada pode então refletir memorização em vez de capacidade de raciocínio, sem qualquer má-fé envolvida.

A representatividade coloca um problema diferente: os benchmarks padronizados não refletem o seu caso de uso. Um modelo que se destaca no MMLU pode revelar-se medíocre na escrita de e-mails comerciais em francês, simplesmente porque ninguém avaliou alguma vez esta tarefa. Os benchmarks medem capacidades genéricas, nunca o desempenho no seu contexto.

A otimização, finalmente, é uma consequência previsível da histeria em torno das classificações. Os laboratórios conhecem os benchmarks e podem orientar o treino para obter bons resultados neles, por vezes em detrimento de outras tarefas. Este é o fenómeno de “ensinar para o teste”, bem documentado fora da inteligência artificial.

Cruzar Fontes e Testar por Si Mesmo

Em vez de confiar apenas nos números publicados por um fornecedor — a Mistral como qualquer outra —, cruze-os com classificações independentes. A Artificial Analysis compara qualidade, preço, velocidade e latência numa base homogénea. O LMArena reflete a preferência humana em condições reais. O Scale AI Leaderboard foca-se na codificação, seguimento de instruções e matemática. As classificações da OpenRouter baseiam-se na utilização efetiva, ou seja, naquilo pelo qual os programadores realmente escolhem pagar. O CTO Bench, por fim, oferece tarefas de codificação realistas de ponta a ponta.

No entanto, a única avaliação que verdadeiramente orienta a sua decisão é aquela que realiza com os seus dados, os seus casos de uso e os seus critérios de qualidade. O método resume-se a seis passos:

  1. Construa um conjunto de teste de 20 a 50 exemplos representativos da sua utilização real
  2. Defina explicitamente os seus critérios de qualidade (precisão, tom, completude, formato)
  3. Teste 2 ou 3 modelos candidatos neste mesmo conjunto
  4. Avalie às cegas, se possível, sem saber qual o modelo que produziu cada resposta
  5. Meça também a latência e o custo por pedido
  6. Decida com base na relação qualidade/custo/restrições

A avaliação às cegas merece ênfase especial: nada vicia mais um julgamento do que saber que uma resposta provém do modelo que esperava que vencesse.

Pontos-chave

  • Os benchmarks dão uma primeira indicação, mas não são suficientes para escolher um modelo
  • O MMLU mede conhecimento, o HumanEval código, o LMArena a preferência humana
  • Cuidado com as diferenças marginais e a contaminação dos benchmarks
  • Consulte classificações independentes (Artificial Analysis, LMArena, Scale AI)
  • A melhor avaliação é sempre aquela que faz com os seus próprios dados