Top P e Amostragem por Núcleo
Nesta página
Uma Segunda Alavanca para Controlar a Geração
A lição anterior apresentou-lhe a primeira alavanca para controlar a geração: a temperatura. O Top P, também chamado amostragem por núcleo, é o seu complemento natural. Enquanto a temperatura altera toda a distribuição de probabilidade, o Top P atua como um filtro que limita o número de tokens candidatos. Ambos os parâmetros influenciam a diversidade da resposta, mas através de mecanismos muito diferentes — e é precisamente essa diferença que lhe permitirá afinar o comportamento do modelo Mistral, em vez de ajustar parâmetros ao acaso.
Como Funciona o Top P
Vamos percorrer novamente o processo de geração. Em cada passo, o modelo calcula uma probabilidade para cada token possível. O Top P intervém em três fases: primeiro, as probabilidades são ajustadas pela temperatura; depois, os tokens são ordenados por probabilidade decrescente e as suas probabilidades são somadas cumulativamente; finalmente, apenas são mantidos os tokens cuja probabilidade cumulativa não excede o limiar do Top P. O sorteio final ocorre apenas entre estes sobreviventes.
Um exemplo torna o mecanismo claro. Imagine que o modelo deve escolher a próxima palavra após “The cat is on the”:
| Token | Probabilidade | Cumulativa |
|---|---|---|
| roof | 0.35 | 0.35 |
| bed | 0.25 | 0.60 |
| sofa | 0.15 | 0.75 |
| floor | 0.10 | 0.85 |
| ledge | 0.05 | 0.90 |
| wall | 0.03 | 0.93 |
| … | … | … |
Com Top P = 0.75, apenas “roof”, “bed” e “sofa” são mantidos, uma vez que a sua soma cumulativa atinge exatamente 0.75: o modelo escolherá apenas entre estas três opções. Com Top P = 0.90, “floor” e “ledge” entram também em jogo. A regra geral é clara na tabela: quanto maior o Top P, mais candidatos são considerados.
Top P vs Temperatura: Qual é a Diferença?
Uma vez que ambos os parâmetros controlam a diversidade, poderá pensar que são intercambiáveis. Não são. A temperatura altera a forma da distribuição: um valor alto achata a curva e torna os tokens improváveis gradualmente mais acessíveis, sem nunca excluir nenhum. O Top P, por outro lado, corta a distribuição: os tokens abaixo do limiar são ignorados outright, independentemente da sua probabilidade residual.
Mantenha esta imagem em mente: a temperatura é uma definição “suave”, que se ajusta gradualmente, enquanto o Top P é uma definição “cortante”, que inclui ou exclui. Em texto criativo, uma temperatura alta com um Top P moderado permite fantasia, evitando ao mesmo tempo o desvio para tokens verdadeiramente improváveis — esta é frequentemente a combinação mais confortável.
Utilizar o Top P com a API Mistral
No código, o parâmetro é simplesmente adicionado à chamada, juntamente com a temperatura:
from mistralai.client import Mistral
client = Mistral(api_key="your-api-key")
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Propose a name for an AI startup."}
],
temperature=0.7,
top_p=0.9
)
Quando Ajustar o Top P
Um Top P baixo, entre 0.1 e 0.5, concentra o modelo nas opções mais prováveis — máxima precisão. Esta é a escolha certa quando a resposta esperada pertence a um conjunto fechado, como nesta classificação estrita:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "system", "content": "Respond only with: positive, neutral, or negative."},
{"role": "user", "content": "Classify: The product arrived in good condition."}
],
temperature=0.0,
top_p=0.3
)
Um Top P médio, entre 0.5 e 0.8, adequa-se à maioria das tarefas profissionais: o texto mantém-se coerente sem se tornar monótono. Este é o regime para um relatório, um resumo ou uma introdução de documento:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write the introduction for a report on cybersecurity in SMEs."}
],
temperature=0.5,
top_p=0.7
)
Finalmente, um Top P alto, entre 0.8 e 1.0, abre o campo à criatividade e à exploração de ideias — aceita candidatos menos prováveis para obter propostas fora da caixa:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Invent 5 innovative restaurant concepts."}
],
temperature=0.9,
top_p=0.95
)
A Regra Prática: Ajustar Um Parâmetro de Cada Vez
A documentação da Mistral recomenda uma abordagem metódica que deve adotar desde os seus primeiros testes: defina o Top P para 1.0 (sem filtragem) e ajuste apenas a temperatura, ou defina a temperatura para 1.0 e ajuste apenas o Top P; só depois refine o segundo parâmetro, se necessário. A razão é simples: se alterar ambos simultaneamente e o comportamento mudar, não saberá qual deles é o responsável. É o mesmo reflexo que na depuração — altera-se apenas uma variável de cada vez.
Para lhe dar pontos de partida concretos: a extração de dados ou saída JSON define-se tipicamente como temperature=0.0, top_p=1.0; a escrita profissional como temperature=0.4, top_p=0.9; a geração criativa como temperature=0.8, top_p=0.95; e o código ou conteúdo técnico como temperature=0.2, top_p=0.9. Estes valores são apenas pontos de partida — a experimentação permanece essencial para o seu caso de uso específico.
Pontos-chave
- O Top P filtra tokens candidatos por um limiar de probabilidade cumulativa
- Ao contrário da temperatura, que suaviza a distribuição, o Top P corta-a
- Ajuste um parâmetro de cada vez para compreender o seu impacto
- Top P baixo = respostas focadas, Top P alto = respostas variadas
- Comece apenas com a temperatura, adicione o Top P para refinar