Penalties de présence et de fréquence
På denna sida
Lutter contre la répétition
Les modèles de langage ont une tendance naturelle à se répéter. Cela se manifeste de trois façons reconnaissables : le même mot qui boucle dans un paragraphe, des structures de phrases identiques qui se répètent ligne après ligne, ou des paragraphes entiers reformulés sans ajouter d’information nouvelle. La température ne résout pas ce problème : augmenter le hasard global dégrade la cohérence sans garantir la variété lexicale. Les paramètres presence_penalty et frequency_penalty offrent un contrôle bien plus fin, à condition de comprendre ce qui les distingue.
Pénalité de présence : une sanction fixe
La pénalité de présence applique une sanction unique et fixe à chaque jeton apparu au moins une fois dans la réponse générée. Peu importe que le jeton ait été utilisé une fois ou quinze fois : la pénalité reste la même. L’effet est d’encourager le modèle à puiser dans des mots qu’il n’a pas encore utilisés, élargissant ainsi le vocabulaire de la réponse. Demande-lui dix adjectifs pour décrire la mer et tu verras immédiatement la différence : sans pénalité, les variations ont tendance à tourner autour de trois ou quatre champs sémantiques.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
# Sans pénalité — le modèle peut se répéter
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Avec pénalité de présence — encourage la diversité du vocabulaire
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)
Ce paramètre accepte des valeurs comprises entre -2,0 et 2,0, avec 0,0 par défaut. Une valeur positive pénalise les jetons déjà vus et produit donc plus de diversité ; une valeur négative fait l’inverse et favorise la répétition, ce qui n’est utile que dans des cas très spécifiques comme la génération de refrains ou de formules répétitives. En production, reste dans la plage 0,0 à 1,5.
Pénalité de fréquence : une sanction cumulative
La pénalité de fréquence fonctionne différemment : la sanction est cumulative et augmente avec le nombre d’occurrences du jeton. Plus un mot est répété, moins il a de chances d’être choisi lors de l’occurrence suivante. Là où la pénalité de présence ouvre le vocabulaire, celle-ci ralentit progressivement les mots qui reviennent trop souvent, ce qui la rend particulièrement efficace contre les boucles dans les longs textes.
# Sans pénalité de fréquence
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Avec pénalité de fréquence — réduit les jetons très fréquents
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)
Comme la précédente, elle varie de -2,0 à 2,0 avec 0,0 par défaut, une valeur positive pénalisant de plus en plus les jetons fréquents. Sa plage utile en production est cependant plus étroite : 0,0 à 1,0, car sa nature cumulative la rend plus agressive à valeurs égales.
Le tableau suivant résume ce qui les distingue.
| Fonctionnalité | Pénalité de présence | Pénalité de fréquence |
|---|---|---|
| Déclencheur | À la 1re occurrence | À chaque occurrence |
| Progression | Fixe (même pénalité) | Cumulative (augmente) |
| Effet | Diversité du vocabulaire | Réduit les répétitions |
| Idéal pour | Explorer de nouveaux sujets | Éviter les boucles de mots |
Configurations selon l’intention
En pratique, tu règles ces deux paramètres conjointement avec la température, en fonction de ce que ton application produit. Un chatbot a besoin d’une légère diversité et d’aucune répétition, rien de plus. L’écriture créative pousse la pénalité de présence pour enrichir le vocabulaire tout en maintenant la pénalité de fréquence à un niveau modéré. L’extraction de données, en revanche, désactive les deux : la répétition y est légitime, et le même nom de champ peut devoir apparaître dix fois. Le résumé se situe entre les deux, avec juste assez de pénalité pour éviter le copier-coller du texte source.
# Chatbot — légère diversité, pas de répétitions
CONFIG_CHATBOT = {
"temperature": 0.7,
"presence_penalty": 0.3,
"frequency_penalty": 0.3
}
# Écriture créative — vocabulaire riche, pas de boucles
CONFIG_CREATIF = {
"temperature": 0.9,
"presence_penalty": 0.8,
"frequency_penalty": 0.5
}
# Extraction de données — pas de pénalités (réponse exacte)
CONFIG_EXTRACTION = {
"temperature": 0.0,
"presence_penalty": 0.0,
"frequency_penalty": 0.0
}
# Résumé — un peu de diversité pour éviter le copier-coller
CONFIG_RESUME = {
"temperature": 0.3,
"presence_penalty": 0.2,
"frequency_penalty": 0.4
}
Diagnostique avant de régler
Régler ces paramètres à l’oreille conduit rapidement à des ajustements arbitraires. Mesure plutôt. La fonction ci-dessous calcule un ratio de diversité — mots uniques sur mots totaux — et isole les mots de plus de trois lettres apparaissant plus de deux fois, ce qui filtre les articles et prépositions dont la répétition est normale. Exécute-la sur la même invite avec trois valeurs de frequency_penalty et tu verras le ratio grimper, puis se stabiliser : ce plateau marque la valeur au-delà de laquelle tu ne gagnes plus rien.
def analyze_repetition(text: str) -> dict:
"""Analyse le taux de répétition du texte généré."""
words = text.lower().split()
total = len(words)
unique = len(set(words))
# Compte les mots qui apparaissent plus de 2 fois
from collections import Counter
counts = Counter(words)
repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}
return {
"total_words": total,
"unique_words": unique,
"diversity_ratio": round(unique / total, 3) if total > 0 else 0,
"repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
}
# Test avec et sans pénalités
for fp in [0.0, 0.5, 1.0]:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
max_tokens=500,
frequency_penalty=fp
)
text = response.choices[0].message.content
stats = analyze_repetition(text)
print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")
Deux façons de tout gâcher
La première est d’aller trop haut. Au-delà de 1,5, le modèle évite tellement les mots courants qu’il les substitue par des alternatives inappropriées : le texte devient décousu, émaillé de termes rares mal utilisés. Dans une explication du théorème de Pythagore, des pénalités à 2,0 empêchent le modèle de répéter « côté » et « triangle » — précisément les mots dont la démonstration a besoin.
# MAUVAIS — pénalité trop forte
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
presence_penalty=2.0,
frequency_penalty=2.0
)
# Résultat : texte décousu, mots rares mal utilisés
La seconde est de combiner des pénalités élevées avec une température élevée. Chaque mécanisme ajoute sa part d’aléatoire au même processus de sélection, et leur superposition produit un texte quasi aléatoire. Comme pour temperature et top_p, la discipline consiste à ajuster un paramètre à la fois.
# À ÉVITER — trop d'aléatoire
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}
# CORRECT — ajuster un paramètre à la fois
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}
Viktiga punkter
- Pénalité de présence : sanction fixe dès qu’un jeton est vu — élargit le vocabulaire
- Pénalité de fréquence : sanction cumulative proportionnelle à la fréquence — combat les boucles
- Les deux varient de -2,0 à 2,0, par défaut 0,0
- Reste dans la plage 0,0 à 1,0 en production pour la plupart des cas
- Ne combine pas des valeurs élevées avec une température élevée
- Désactive les pénalités pour l’extraction et la classification (où la répétition est acceptable)