Ir para o conteúdo principal
Português— Escolher um idioma
Menu

LLMs e Arquitetura

Aula 11 de 16 Atualizada a 2 de novembro de 2026 Iniciante
Nesta página
  1. Como Funciona um Modelo de Linguagem
  2. O Que É um LLM?
  3. Parâmetros do Modelo
  4. A Arquitetura Transformer
  5. Mistura de Especialistas (MoE) — A Especialidade da Mistral
  6. Pesos do Modelo
  7. Treino em Duas Fases
  8. Pontos-chave

Atualizado em 2 de novembro de 2026 — O Le Chat é agora o Vibe. Desde 28 de maio de 2026, o Le Chat tornou-se Vibe (ainda em chat.mistral.ai): um único agente para trabalho e código, que mantém as suas conversas, definições e subscrições. A experiência legada do Le Chat permanece acessível no modo Chat; no modo Work, os agentes são agora competências (invocadas com @), as memórias constituem a base de conhecimento e a pesquisa profunda é a competência Deep Research. Os planos passaram a designar-se Mistral Free, Pro, Team e Enterprise. Esta lição utiliza agora o nome Vibe; alguns menus aqui descritos podem ter alterado de nome ou de localização.

Como Funciona um Modelo de Linguagem

Utiliza um modelo de linguagem sempre que faz uma pergunta no Vibe. Mas o que acontece exatamente entre o momento em que prime Enter e o instante em que a resposta surge? Esta lição fornece-lhe as chaves para compreender a arquitetura subjacente, sem se perder em detalhes matemáticos. Isto não é apenas cultura geral gratuita: compreender o mecanismo ajuda-o a antecipar aquilo em que o modelo é eficaz, onde falha e porquê.

O Que É um LLM?

Um LLM (Large Language Model ou Modelo de Linguagem de Grande Dimensão) é um programa informático treinado com quantidades massivas de texto para aprender a prever a próxima palavra numa frase. Este princípio parece enganadoramente simples — e, no entanto, quando aplicado à escala, produz resultados surpreendentemente coerentes e úteis. Concretamente, quando coloca uma pergunta ao Mistral Small 4, o modelo procede da seguinte forma:

  1. Transforma o seu texto em tokens
  2. Processa esses tokens através de milhares de milhões de cálculos
  3. Prevê o token mais provável que deve seguir-se
  4. Repete a operação, token a token, até completar a sua resposta

Isto explica um fenómeno que observou desde a sua primeira interação: a resposta aparece progressivamente no ecrã (streaming) porque o modelo gera efetivamente a sua resposta palavra por palavra. O que vê a deslizar não é um artefacto de visualização — é a própria geração, em tempo real.

Parâmetros do Modelo

Quando falamos de um modelo de “7 mil milhões de parâmetros” ou “14 mil milhões de parâmetros”, referimo-nos ao número de ligações digitais ajustáveis que o modelo contém. Estes parâmetros são os pesos do modelo. Para usar uma analogia: se o modelo fosse um cérebro, os parâmetros seriam as sinapses — as ligações entre neurónios. Quanto mais parâmetros, mais nuances e relações complexas na linguagem o modelo consegue captar.

No entanto, tenha cuidado para não transformar este número no único critério: um modelo maior não é automaticamente melhor. A eficiência depende tanto da qualidade dos dados de treino — dados limpos e diversificados produzem melhores resultados —, da arquitetura do modelo, ou seja, de como os parâmetros estão organizados, das técnicas de treino utilizadas para ajustar esses parâmetros e do ajuste fino (fine-tuning), o refinamento pós-treino para tarefas específicas. É precisamente isto que permite à Mistral competir com modelos muito maiores: uma arquitetura eficiente e dados de treino de alta qualidade.

A Arquitetura Transformer

Todos os LLMs modernos baseiam-se na arquitetura Transformer, introduzida em 2017. Duas ideias bastam para compreender o essencial.

A primeira é o mecanismo de atenção, o coração do Transformer. Permite ao modelo “olhar” para todo o texto de entrada para compreender as relações entre palavras, mesmo quando estas estão distantes na frase. Tome o exemplo: “O gato que dormia no sofá acordou”: graças à atenção, o modelo compreende que “acordou” se refere ao gato, e não ao sofá. Esta capacidade de ligar elementos distantes é o que distingue os Transformers das gerações anteriores de modelos de linguagem.

A segunda ideia é a empilhação de camadas. Um Transformer consiste em múltiplas camadas sobrepostas, e cada uma refina a compreensão do texto: as camadas iniciais captam relações gramaticais simples, enquanto as camadas profundas apreendem conceitos abstratos e relações semânticas complexas. A compreensão constrói-se, portanto, através de refinamentos sucessivos, tal como uma leitura que evolui da sintaxe para o significado.

Mistura de Especialistas (MoE) — A Especialidade da Mistral

Uma das grandes inovações da Mistral AI é a utilização da arquitetura Mistura de Especialistas (MoE, do inglês Mixture of Experts), popularizada com o Mixtral 8x7B. O princípio rompe com a abordagem clássica: em vez de uma única rede neuronal massiva que processa tudo, o MoE divide o modelo em vários “especialistas” especializados, e um mecanismo de encaminhamento seleciona, para cada token processado, os especialistas mais relevantes.

O benefício é duplo. Em termos de eficiência, apenas alguns especialistas são ativados para cada token, o que reduz significativamente o tempo de cálculo. Em termos de desempenho, o modelo beneficia da capacidade total de todos os especialistas combinados, pagando apenas o custo de cálculo daqueles que realmente trabalham — cada especialista pode também especializar-se num tipo de conteúdo ou tarefa. Na prática, um modelo MoE de 47 mil milhões de parâmetros que ativa apenas 12 mil milhões por token pode oferecer um desempenho comparável a um modelo denso de 47 mil milhões, sendo ao mesmo tempo tão rápido quanto um modelo de 12 mil milhões. Isto explica por que razão os modelos da Mistral oferecem uma relação desempenho-velocidade frequentemente superior à da concorrência.

Pesos do Modelo

Os pesos são os valores numéricos que definem o comportamento do modelo — são os famosos parâmetros, uma vez concluído o treino. Quando a Mistral lança um modelo como “Open”, significa que estes pesos podem ser descarregados. E possuir os pesos muda tudo: pode alojar o modelo nos seus próprios servidores, executá-lo sem ligação à Internet, modificá-lo ou ajustá-lo finamente e integrá-lo em sistemas incorporados. Sem os pesos, depende da API do fornecedor. Esta é a diferença fundamental entre os modelos Open e Premier que encontrou nas lições anteriores — agora compreende o que existe tecnicamente por detrás disso.

Treino em Duas Fases

Como é criado um modelo como o Mistral Small 4? Em duas etapas principais. A primeira é o pré-treino: o modelo é exposto a quantidades massivas de texto — livros, artigos, código-fonte, páginas web — e aprende as estruturas da linguagem. Esta fase requer milhares de GPUs durante semanas e custa milhões de euros; confere ao modelo a sua cultura e domínio da linguagem.

A segunda etapa é o ajuste fino e alinhamento: o modelo pré-treinado é refinado para seguir instruções, ser útil e evitar produzir conteúdo perigoso. Esta fase baseia-se em dados anotados por humanos e em técnicas como o RLHF (Aprendizagem por Reforço com Feedback Humano). É isto que transforma um preditor de texto bruto num assistente capaz de dialogar — a diferença entre um modelo que completa frases e um modelo que lhe responde.

Pontos-chave

  • Um LLM prevê o próximo token, repetindo esta operação milhares de vezes para produzir uma resposta completa
  • Os parâmetros (pesos) são as ligações digitais que codificam o conhecimento do modelo
  • A arquitetura Transformer e o seu mecanismo de atenção permitem compreender as relações no texto
  • A Mistura de Especialistas (MoE) é a especialidade da Mistral: desempenho de um modelo grande, velocidade de um modelo pequeno
  • Os modelos são criados em duas fases: pré-treino massivo seguido de ajuste fino direcionado
  • Os pesos abertos permitem autoalojamento e personalização