Strafen und Wiederholungen
Auf dieser Seite
Vermeidung von Schleifen und Wiederholungen
Eines der frustrierendsten Verhaltensweisen eines Sprachmodells ist die Wiederholung: Das Modell kreist auf denselben Wörtern, Satzbauweisen oder Ideen. Sie bitten um einen ausführlichen Artikel und erhalten drei Absätze, die alle mit „Furthermore” beginnen, wobei das Wort „innovation” auf jeder Zeile vorkommt. Mistral-Modelle bieten zwei Parameter zur Bekämpfung dieses Problems an: Presence Penalty und Frequency Penalty. Sie sehen sich ähnlich, aber ihre Mechanik unterscheidet sich genug, dass die Wahl des einen oder anderen die Ausgabe tatsächlich verändert.
Der Presence Penalty
Der Presence Penalty ist eine einmalige Strafe, die auf jedes Token angewendet wird, das bereits mindestens einmal in der generierten Antwort aufgetreten ist. Es spielt keine Rolle, ob das Token einmal oder 50 Mal verwendet wurde: Die Strafe bleibt gleich. Der Parameter akzeptiert Werte von -2,0 bis 2,0, wobei 0 der Standardwert ist (deaktiviert). Ein positiver Wert ermutigt das Modell, neue Wörter zu verwenden; ein negativer Wert, der seltener vorkommt, ermutigt es dazu, dieselben Wörter erneut zu verwenden.
# Positive presence penalty: more varied vocabulary
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Describe the benefits of remote work."}
],
presence_penalty=0.6
)
In der Praxis ist der Presence Penalty ideal, wenn Sie möchten, dass das Modell ein breiteres Vokabular erkundet und verschiedene Aspekte eines Themas abdeckt. Im obigen Beispiel zur Remote-Arbeit drängt das Modell das Modell von der stündlichen Flexibilität über das Unternehmensimmobilienwesen bis zum CO₂-Fußabdruck, anstatt das Argument der Zeitersparnis dreimal zu wiederholen.
Der Frequency Penalty
Der Frequency Penalty hingegen ist kumulativ: Er erhöht sich jedes Mal, wenn ein Token erneut verwendet wird. Je häufiger ein Wort vorkommt, desto stärker wird es bestraft, was ihn deutlich effektiver macht als den Presence Penalty bei der Unterbrechung von Schleifen. Er teilt denselben Wertebereich von -2,0 bis 2,0, wobei 0 der Standardwert ist.
# Frequency penalty: reduces repetition of frequent words
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a 300-word article on artificial intelligence."}
],
frequency_penalty=0.5
)
Sein optimaler Bereich: lange Texte, bei denen das Modell dazu neigt, dieselben Wörter oder Strukturen zu wiederholen. Ein 300-Wörter-Artikel über künstliche Intelligenz birgt ohne Strafe das Risiko, dass „KI” und „Technologie” in jedem Satz gehämmert werden; der Frequency Penalty zwingt das Modell schrittweise dazu, seine Sprache zu variieren.
Unterschied zwischen den beiden Strafen
Um die Nuance zu erfassen, betrachten wir ein numerisches Beispiel. Das Modell hat das Wort „innovation” bereits 5 Mal in seiner Antwort generiert. Bei einem Presence Penalty von 0,5 erhält „innovation” eine Strafe von 0,5 – fest, die 5 Vorkommen ändern nichts. Bei einem Frequency Penalty von 0,5 erhält dasselbe Wort eine Strafe von 2,5, also 0,5 multipliziert mit seinen 5 Vorkommen. Der Frequency Penalty ist daher gegen Tokens, die häufig zurückkehren, viel aggressiver, während der Presence Penalty einen sanften, einheitlichen Druck auf alles ausübt, das bereits gesagt wurde.
Wann Sie jede Strafe verwenden sollten
Verwenden Sie den Presence Penalty, wenn das Ziel thematische Vielfalt ist. In einer Brainstorming-Sitzung möchten Sie zehn wirklich unterschiedliche Ideen, nicht zehn Neuformulierungen der ersten:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List 10 digital marketing trends for 2026."}
],
presence_penalty=0.8,
temperature=0.7
)
Verwenden Sie den Frequency Penalty, wenn das Ziel Textfluss ist. In einem langen Leitfaden verhindert er, dass sich Sprachtikken festsetzen, ohne die Botschaft zu verzerren:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a comprehensive guide on agile project management."}
],
frequency_penalty=0.4,
temperature=0.5
)
Nichts hindert Sie daran, beide zu kombinieren, um einen kumulativen Effekt zu erzielen – eine kreative Newsletter beispielsweise profitiert sowohl von einem variierenden Vokabular als auch von einem Text ohne Wiederholungen:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a creative newsletter on tech trends."}
],
presence_penalty=0.3,
frequency_penalty=0.5,
temperature=0.6
)
Achten Sie auf extreme Werte
Diese Strafen sind keine Knöpfe, die man auf Maximum drehen kann: Werte, die zu hoch sind, verschlechtern die Qualität anstatt sie zu verbessern. Ab einem Wert über 1,0 für den Presence Penalty beginnt das Modell, gängige Wörter zu vermeiden, die eigentlich notwendig sind – Artikel, Präpositionen – und der Text wird seltsam. Ab einem Wert über 1,0 für den Frequency Penalty zwingt es zu unangemessenen Synonymen, nur um sich nicht zu wiederholen: „Auto” wird zu „Fahrzeug”, dann zu „Kraftfahrzeug”, dann zu „motorisiertes Fahrzeug” im selben Absatz. Was negative Werte betrifft, so ermutigen sie Wiederholungen, was selten wünschenswert ist. Die praktische Empfehlung: Bleiben Sie im Bereich von 0,0 bis 0,8 für beide Parameter; darüber hinaus wiegen Nebenwirkungen schwerer als Vorteile.
Um Sie bei der Aufgabe zu leiten: Extraktion und Klassifizierung finden ohne jegliche Strafe statt (presence_penalty=0, frequency_penalty=0, Genauigkeit geht vor); kurze Texte unter 200 Wörtern kommen mit frequency_penalty=0.2 aus; lange Texte über 500 Wörter profitieren von der Kombination aus presence_penalty=0.3 und frequency_penalty=0.5; Brainstorming kehrt die Dominanz mit presence_penalty=0.6 und frequency_penalty=0.3 um; und eine Liste einzigartiger Punkte geht bis zu presence_penalty=0.8 mit frequency_penalty=0.2.
Kernaussagen
- Der Presence Penalty ermutigt zur Verwendung neuer Wörter (feste Strafe)
- Der Frequency Penalty unterbindet die Wiederholung häufiger Wörter (kumulative Strafe)
- Beide Parameter reichen von -2,0 bis 2,0, wobei 0 der Standardwert ist
- Bleiben Sie im Bereich von 0,0 bis 0,8, um unerwünschte Effekte zu vermeiden
- Verwenden Sie den Presence Penalty für thematische Vielfalt und den Frequency Penalty für Textfluss