Penalizações de Presença e de Frequência
Nesta página
Combater a Repetição
Os modelos de linguagem têm uma tendência natural para se repetirem. Isto manifesta-se de três formas reconhecíveis: a mesma palavra a surgir em ciclo num parágrafo, estruturas de frase idênticas a repetirem-se linha após linha, ou parágrafos inteiros reformulados sem acrescentar nova informação. A temperatura não resolve este problema; aumentar a aleatoriedade global degrada a coerência sem garantir variedade lexical. Os parâmetros presence_penalty e frequency_penalty oferecem um controlo muito mais fino, desde que compreenda o que os distingue.
Penalização de Presença: Uma Penalização Fixa
A penalização de presença aplica uma penalização única e fixa a cada token que tenha aparecido pelo menos uma vez na resposta gerada. Não importa se o token foi usado uma vez ou quinze vezes; a penalização mantém-se igual. O efeito consiste em incentivar o modelo a recorrer a palavras que ainda não utilizou, alargando assim o vocabulário da resposta. Peça dez adjetivos para descrever o mar e verá imediatamente a diferença: sem penalização, as variações tendem a circular em torno de três ou quatro campos semânticos.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
# Sem penalização — o modelo pode repetir-se
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Com penalização de presença — incentiva a diversidade vocabular
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)
O parâmetro aceita valores entre -2.0 e 2.0, sendo 0.0 o valor predefinido. Um valor positivo penaliza os tokens já vistos e produz, portanto, maior diversidade; um valor negativo faz o oposto e favorece a repetição, o que só é útil em casos muito específicos, como a geração de refrões ou fórmulas repetitivas. Em produção, mantenha-se no intervalo de 0.0 a 1.5.
Penalização de Frequência: Uma Penalização Cumulativa
A penalização de frequência funciona de forma diferente: a penalização é cumulativa e cresce com o número de ocorrências do token. Quanto mais uma palavra se repete, menos provável se torna na ocorrência seguinte. Enquanto a penalização de presença alarga o vocabulário, esta reduz progressivamente a probabilidade de palavras que regressam com demasiada frequência, tornando-a particularmente eficaz contra ciclos em textos longos.
# Sem penalização de frequência
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Com penalização de frequência — reduz tokens muito frequentes
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)
Tal como a anterior, varia entre -2.0 e 2.0, com 0.0 como predefinição, onde um valor positivo penaliza cada vez mais os tokens frequentes. No entanto, o seu intervalo útil em produção é mais estreito: 0.0 a 1.0, pois a sua natureza cumulativa torna-a mais agressiva para valores iguais.
A tabela seguinte resume as diferenças entre ambas.
| Funcionalidade | Penalização de presença | Penalização de frequência |
|---|---|---|
| Ativação | Na 1.ª ocorrência | Em cada ocorrência |
| Crescimento | Fixo (mesma penalização) | Cumulativo (aumenta) |
| Efeito | Diversidade vocabular | Reduz repetições |
| Ideal para | Explorar novos tópicos | Evitar ciclos de palavras |
Configurações por Intenção
Na prática, ajusta estes dois parâmetros em conjunto com a temperatura, dependendo do que a sua aplicação produz. Um chatbot necessita de ligeira diversidade e de zero repetições, nada mais. A escrita criativa eleva a penalização de presença para enriquecer o vocabulário, mantendo a penalização de frequência moderada. A extração de dados, por outro lado, desativa ambas: a repetição é legítima nesse contexto, e o mesmo nome de campo pode precisar de aparecer dez vezes. O resumo situa-se no meio, com penalização suficiente para evitar copiar e colar o texto de origem.
# Chatbot — ligeira diversidade, sem repetições
CONFIG_CHATBOT = {
"temperature": 0.7,
"presence_penalty": 0.3,
"frequency_penalty": 0.3
}
# Escrita criativa — vocabulário rico, sem ciclos
CONFIG_CREATIF = {
"temperature": 0.9,
"presence_penalty": 0.8,
"frequency_penalty": 0.5
}
# Extração de dados — sem penalizações (resposta exata)
CONFIG_EXTRACTION = {
"temperature": 0.0,
"presence_penalty": 0.0,
"frequency_penalty": 0.0
}
# Resumo — alguma diversidade para evitar cópia
CONFIG_RESUME = {
"temperature": 0.3,
"presence_penalty": 0.2,
"frequency_penalty": 0.4
}
Diagnostique Antes de Ajustar
Ajustar estes parâmetros “ao ouvido” leva rapidamente a alterações arbitrárias. Meça, em vez disso. A função abaixo calcula uma taxa de diversidade — palavras únicas sobre o total de palavras — e isola palavras com mais de três letras que aparecem mais de duas vezes, filtrando assim artigos e preposições cuja repetição é normal. Execute-a com o mesmo prompt e três valores de frequency_penalty e verá a taxa subir e depois estabilizar: esse patamar marca o valor além do qual não ganha mais nada.
def analyze_repetition(text: str) -> dict:
"""Analisa a taxa de repetição do texto gerado."""
words = text.lower().split()
total = len(words)
unique = len(set(words))
# Contar palavras que aparecem mais de 2 vezes
from collections import Counter
counts = Counter(words)
repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}
return {
"total_words": total,
"unique_words": unique,
"diversity_ratio": round(unique / total, 3) if total > 0 else 0,
"repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
}
# Testar com e sem penalizações
for fp in [0.0, 0.5, 1.0]:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
max_tokens=500,
frequency_penalty=fp
)
text = response.choices[0].message.content
stats = analyze_repetition(text)
print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")
Duas Formas de Estragar Tudo
A primeira é exagerar. Acima de 1.5, o modelo evita tanto as palavras comuns que as substitui por alternativas inadequadas: o texto torna-se desconexo, repleto de termos raros mal utilizados. Numa explicação do teorema de Pitágoras, penalizações de 2.0 impedem o modelo de repetir “lado” e “triângulo” — precisamente as palavras de que a prova necessita.
# MAU — penalização demasiado forte
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
presence_penalty=2.0,
frequency_penalty=2.0
)
# Resultado: texto desconexo, termos raros mal utilizados
A segunda é combinar penalizações elevadas com temperatura alta. Cada mecanismo adiciona a sua quota parte de aleatoriedade ao mesmo processo de seleção, e a sua sobreposição produz um texto quase aleatório. Tal como com temperature e top_p, a disciplina consiste em ajustar um parâmetro de cada vez.
# EVITAR — demasiada aleatoriedade
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}
# CORRETO — ajustar um parâmetro de cada vez
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}
Pontos-chave
- Penalização de presença: penalização fixa assim que um token é visto — alarga o vocabulário
- Penalização de frequência: penalização cumulativa proporcional à frequência — combate ciclos
- Ambas variam de -2.0 a 2.0, com predefinição 0.0
- Mantenha-se no intervalo de 0.0 a 1.0 em produção para a maioria dos casos
- Não combine valores altos com temperatura alta
- Desative as penalizações para extração e classificação (onde a repetição é aceitável)