Presence- en frequentiestraffen
Op deze pagina
Herhaling tegengaan
Taalmodellen hebben een natuurlijke neiging om zich te herhalen. Dit uit zich op drie herkenbare manieren: hetzelfde woord dat door een alinea loopt, identieke zinsstructuren die regel na regel terugkeren, of hele alinea’s die worden herformuleerd zonder nieuwe informatie toe te voegen. Temperatuur lost dit niet op; het verhogen van de algemene willekeur tast de samenhang aan zonder lexicale variatie te garanderen. De parameters presence_penalty en frequency_penalty bieden veel fijnere controle, mits u begrijpt wat hen onderscheidt.
Presence Penalty: een vaste straf
De presence penalty past een enkele, vaste straf toe op elk token dat minstens één keer in het gegenereerde antwoord is verschenen. Het maakt niet uit of het token één keer of vijftien keer is gebruikt; de straf blijft gelijk. Het effect is dat het model wordt aangemoedigd om woorden te gebruiken die het nog niet heeft gebruikt, wat het vocabulaire van het antwoord verbreedt. Vraag om tien bijvoeglijke naamwoorden om de zee te beschrijven en u ziet het verschil direct: zonder straf cirkelen variaties vaak rond drie of vier semantische velden.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
# No penalty — the model may repeat itself
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# With presence penalty — encourages vocabulary diversity
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)
De parameter accepteert waarden van -2.0 tot 2.0, met 0.0 als standaardwaarde. Een positieve waarde straft tokens af die al zijn gezien en produceert daardoor meer diversiteit; een negatieve waarde doet het tegenovergestelde en bevordert herhaling, wat alleen nuttig is in zeer specifieke gevallen, zoals het genereren van refreinen of herhaalde formules. Blijf in productie binnen het bereik van 0.0 tot 1.5.
Frequency Penalty: een cumulatieve straf
De frequency penalty werkt anders: de straf is cumulatief en groeit met het aantal voorkomens van het token. Hoe vaker een woord wordt herhaald, hoe minder waarschijnlijk het wordt bij de volgende keer. Waar de presence penalty het vocabulaire opent, remt deze parameter progressief woorden af die te vaak terugkeren, wat het bijzonder effectief maakt tegen lussen in lange teksten.
# No frequency penalty
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# With frequency penalty — reduces very frequent tokens
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)
Net als de vorige varieert deze van -2.0 tot 2.0 met 0.0 als standaardwaarde, waarbij een positieve waarde frequente tokens steeds sterker straft. Het nuttige bereik in productie is echter smaller: 0.0 tot 1.0, omdat de cumulatieve aard het bij gelijke waarden agressiever maakt.
De volgende tabel vat de verschillen samen.
| Kenmerk | Presence penalty | Frequency penalty |
|---|---|---|
| Trigger | Bij 1e voorkomen | Bij elk voorkomen |
| Groei | Vast (zelfde straf) | Cumulatief (neemt toe) |
| Effect | Vocabulaire-diversiteit | Vermindert herhalingen |
| Het beste voor | Verkennen van nieuwe onderwerpen | Voorkomen van woordlussen |
Configuratie per intentie
In de praktijk stemt u deze twee parameters af samen met de temperatuur, afhankelijk van wat uw applicatie produceert. Een chatbot heeft lichte diversiteit en geen herhalingen nodig, niets meer. Creatief schrijven duwt de presence penalty omhoog om het vocabulaire te verrijken, terwijl de frequency penalty gematigd blijft. Gegevensextractie schakelt daarentegen beide uit: herhaling is daar legitiem en dezelfde veldnaam moet mogelijk tien keer verschijnen. Samenvatten zit daar tussenin, met net genoeg straf om copy-pasten van de brontekst te voorkomen.
# Chatbot — slight diversity, no repetitions
CONFIG_CHATBOT = {
"temperature": 0.7,
"presence_penalty": 0.3,
"frequency_penalty": 0.3
}
# Creative writing — rich vocabulary, no loops
CONFIG_CREATIF = {
"temperature": 0.9,
"presence_penalty": 0.8,
"frequency_penalty": 0.5
}
# Data extraction — no penalties (exact response)
CONFIG_EXTRACTION = {
"temperature": 0.0,
"presence_penalty": 0.0,
"frequency_penalty": 0.0
}
# Summary — some diversity to avoid copy-paste
CONFIG_RESUME = {
"temperature": 0.3,
"presence_penalty": 0.2,
"frequency_penalty": 0.4
}
Diagnoseer voordat u afstemt
Het afstemmen van deze parameters op het gehoor leidt snel tot willekeurige aanpassingen. Meet in plaats daarvan. De onderstaande functie berekent een diversiteitsratio – unieke woorden gedeeld door totale woorden – en isoleert woorden langer dan drie letters die meer dan twee keer voorkomen, waardoor lidwoorden en voorzetsels waarvan herhaling normaal is, worden gefilterd. Voer dit uit op dezelfde prompt met drie frequency_penalty-waarden en u ziet de ratio stijgen en vervolgens stabiliseren: dat plateau markeert de waarde waarboven u geen winst meer boekt.
def analyze_repetition(text: str) -> dict:
"""Analyzes the repetition rate of generated text."""
words = text.lower().split()
total = len(words)
unique = len(set(words))
# Count words that appear more than 2 times
from collections import Counter
counts = Counter(words)
repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}
return {
"total_words": total,
"unique_words": unique,
"diversity_ratio": round(unique / total, 3) if total > 0 else 0,
"repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
}
# Test with and without penalties
for fp in [0.0, 0.5, 1.0]:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
max_tokens=500,
frequency_penalty=fp
)
text = response.choices[0].message.content
stats = analyze_repetition(text)
print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")
Twee manieren om alles te verpesten
De eerste is te hoog gaan. Boven de 1.5 vermijdt het model veelvoorkomende woorden zo sterk dat het ongepaste alternatieven kiest: de tekst wordt onsamenhangend en doordrenkt met verkeerd gebruikte zeldzame termen. In een uitleg van de stelling van Pythagoras voorkomen straffen van 2.0 dat het model “zijde” en “driehoek” herhaalt – precies de woorden die het bewijs nodig heeft.
# BAD — penalty too strong
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
presence_penalty=2.0,
frequency_penalty=2.0
)
# Result: disjointed text, misused rare words
De tweede is het combineren van hoge straffen met een hoge temperatuur. Elk mechanisme voegt zijn deel willekeur toe aan hetzelfde selectieproces, en hun superpositie produceert vrijwel willekeurige tekst. Net als bij temperature en top_p is de discipline om één parameter per keer aan te passen.
# AVOID — too much randomness
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}
# CORRECT — adjust one parameter at a time
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}
Belangrijkste punten
- Presence penalty: vaste straf zodra een token is gezien – verbreedt het vocabulaire
- Frequency penalty: cumulatieve straf evenredig met de frequentie – bestrijdt lussen
- Beide variëren van -2.0 tot 2.0, standaard 0.0
- Blijf in productie voor de meeste gevallen in het bereik van 0.0 tot 1.0
- Combineer geen hoge waarden met een hoge temperatuur
- Schakel straffen uit voor extractie en classificatie (waar herhaling acceptabel is)