Ir para o conteúdo principal
Português— Escolher um idioma
Menu

Penalizações de Presença e de Frequência

Aula 14 de 16 Atualizada a 2 de novembro de 2026 Programador
Nesta página
  1. Combater a Repetição
  2. Penalização de Presença: Uma Penalização Fixa
  3. Penalização de Frequência: Uma Penalização Cumulativa
  4. Configurações por Intenção
  5. Diagnostique Antes de Ajustar
  6. Duas Formas de Estragar Tudo
  7. Pontos-chave

Combater a Repetição

Os modelos de linguagem têm uma tendência natural para se repetirem. Isto manifesta-se de três formas reconhecíveis: a mesma palavra a surgir em ciclo num parágrafo, estruturas de frase idênticas a repetirem-se linha após linha, ou parágrafos inteiros reformulados sem acrescentar nova informação. A temperatura não resolve este problema; aumentar a aleatoriedade global degrada a coerência sem garantir variedade lexical. Os parâmetros presence_penalty e frequency_penalty oferecem um controlo muito mais fino, desde que compreenda o que os distingue.

Penalização de Presença: Uma Penalização Fixa

A penalização de presença aplica uma penalização única e fixa a cada token que tenha aparecido pelo menos uma vez na resposta gerada. Não importa se o token foi usado uma vez ou quinze vezes; a penalização mantém-se igual. O efeito consiste em incentivar o modelo a recorrer a palavras que ainda não utilizou, alargando assim o vocabulário da resposta. Peça dez adjetivos para descrever o mar e verá imediatamente a diferença: sem penalização, as variações tendem a circular em torno de três ou quatro campos semânticos.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Sem penalização — o modelo pode repetir-se
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Com penalização de presença — incentiva a diversidade vocabular
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

O parâmetro aceita valores entre -2.0 e 2.0, sendo 0.0 o valor predefinido. Um valor positivo penaliza os tokens já vistos e produz, portanto, maior diversidade; um valor negativo faz o oposto e favorece a repetição, o que só é útil em casos muito específicos, como a geração de refrões ou fórmulas repetitivas. Em produção, mantenha-se no intervalo de 0.0 a 1.5.

Penalização de Frequência: Uma Penalização Cumulativa

A penalização de frequência funciona de forma diferente: a penalização é cumulativa e cresce com o número de ocorrências do token. Quanto mais uma palavra se repete, menos provável se torna na ocorrência seguinte. Enquanto a penalização de presença alarga o vocabulário, esta reduz progressivamente a probabilidade de palavras que regressam com demasiada frequência, tornando-a particularmente eficaz contra ciclos em textos longos.

# Sem penalização de frequência
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Com penalização de frequência — reduz tokens muito frequentes
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Tal como a anterior, varia entre -2.0 e 2.0, com 0.0 como predefinição, onde um valor positivo penaliza cada vez mais os tokens frequentes. No entanto, o seu intervalo útil em produção é mais estreito: 0.0 a 1.0, pois a sua natureza cumulativa torna-a mais agressiva para valores iguais.

A tabela seguinte resume as diferenças entre ambas.

FuncionalidadePenalização de presençaPenalização de frequência
AtivaçãoNa 1.ª ocorrênciaEm cada ocorrência
CrescimentoFixo (mesma penalização)Cumulativo (aumenta)
EfeitoDiversidade vocabularReduz repetições
Ideal paraExplorar novos tópicosEvitar ciclos de palavras

Configurações por Intenção

Na prática, ajusta estes dois parâmetros em conjunto com a temperatura, dependendo do que a sua aplicação produz. Um chatbot necessita de ligeira diversidade e de zero repetições, nada mais. A escrita criativa eleva a penalização de presença para enriquecer o vocabulário, mantendo a penalização de frequência moderada. A extração de dados, por outro lado, desativa ambas: a repetição é legítima nesse contexto, e o mesmo nome de campo pode precisar de aparecer dez vezes. O resumo situa-se no meio, com penalização suficiente para evitar copiar e colar o texto de origem.

# Chatbot — ligeira diversidade, sem repetições
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Escrita criativa — vocabulário rico, sem ciclos
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Extração de dados — sem penalizações (resposta exata)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Resumo — alguma diversidade para evitar cópia
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnostique Antes de Ajustar

Ajustar estes parâmetros “ao ouvido” leva rapidamente a alterações arbitrárias. Meça, em vez disso. A função abaixo calcula uma taxa de diversidade — palavras únicas sobre o total de palavras — e isola palavras com mais de três letras que aparecem mais de duas vezes, filtrando assim artigos e preposições cuja repetição é normal. Execute-a com o mesmo prompt e três valores de frequency_penalty e verá a taxa subir e depois estabilizar: esse patamar marca o valor além do qual não ganha mais nada.

def analyze_repetition(text: str) -> dict:
    """Analisa a taxa de repetição do texto gerado."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Contar palavras que aparecem mais de 2 vezes
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Testar com e sem penalizações
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Duas Formas de Estragar Tudo

A primeira é exagerar. Acima de 1.5, o modelo evita tanto as palavras comuns que as substitui por alternativas inadequadas: o texto torna-se desconexo, repleto de termos raros mal utilizados. Numa explicação do teorema de Pitágoras, penalizações de 2.0 impedem o modelo de repetir “lado” e “triângulo” — precisamente as palavras de que a prova necessita.

# MAU — penalização demasiado forte
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Resultado: texto desconexo, termos raros mal utilizados

A segunda é combinar penalizações elevadas com temperatura alta. Cada mecanismo adiciona a sua quota parte de aleatoriedade ao mesmo processo de seleção, e a sua sobreposição produz um texto quase aleatório. Tal como com temperature e top_p, a disciplina consiste em ajustar um parâmetro de cada vez.

# EVITAR — demasiada aleatoriedade
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# CORRETO — ajustar um parâmetro de cada vez
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Pontos-chave

  • Penalização de presença: penalização fixa assim que um token é visto — alarga o vocabulário
  • Penalização de frequência: penalização cumulativa proporcional à frequência — combate ciclos
  • Ambas variam de -2.0 a 2.0, com predefinição 0.0
  • Mantenha-se no intervalo de 0.0 a 1.0 em produção para a maioria dos casos
  • Não combine valores altos com temperatura alta
  • Desative as penalizações para extração e classificação (onde a repetição é aceitável)