Spring til hovedindhold
Dansk— Vælg et sprog
Menu

Straffe for tilstedeværelse og frekvens

Lektion 14 af 16 Opdateret 2. november 2026 Udvikler
På denne side
  1. Bekæmpelse af gentagelser
  2. Straffen for tilstedeværelse: En fast straf
  3. Straffen for frekvens: En kumulativ straf
  4. Konfigurationer efter hensigt
  5. Diagnosticér før du finjusterer
  6. To måder at ødelægge det hele på
  7. Vigtige pointer

Bekæmpelse af gentagelser

Sprogmodeller har en naturlig tendens til at gentage sig selv. Det viser sig på tre genkendelige måder: det samme ord løber i ring gennem et afsnit, identiske sætningsstrukturer gentages linje efter linje, eller hele afsnit bliver omskrevet uden at tilføje ny information. Temperatur løser ikke dette problem – at skrue op for den globale tilfældighed forringer sammenhængen uden at garantere leksikal variation. Parametrene presence_penalty og frequency_penalty giver langt finere kontrol, forudsat at du forstår forskellen på dem.

Straffen for tilstedeværelse: En fast straf

Straffen for tilstedeværelse (presence penalty) anvender en enkelt, fast straf på hvert token, der er optrådt mindst én gang i det genererede svar. Det betyder ikke noget, om tokenet er brugt én gang eller femten gange – straffen forbliver den samme. Effekten er at opmuntre modellen til at trække på ord, den endnu ikke har brugt, hvilket udvider svarets ordforråd. Bed om ti tillægsord til at beskrive havet, så vil du straks se forskellen – uden en straf har variationerne tendens til at kredse omkring tre eller fire semantiske felter.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# No penalty — the model may repeat itself
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# With presence penalty — encourages vocabulary diversity
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parameteren accepterer værdier fra -2,0 til 2,0, hvor 0,0 er standardværdien. En positiv værdi straffer tokens, der allerede er set, og producerer dermed mere diversitet; en negativ værdi gør det modsatte og favoriserer gentagelser, hvilket kun er nyttigt i meget specifikke tilfælde som generering af omkvæd eller gentagne formler. I produktion bør du holde dig inden for intervallet 0,0 til 1,5.

Straffen for frekvens: En kumulativ straf

Straffen for frekvens (frequency penalty) fungerer anderledes: straffen er kumulativ og vokser med antallet af forekomster af tokenet. Jo oftere et ord gentages, desto mindre sandsynligt bliver det ved næste forekomst. Hvor straffen for tilstedeværelse åbner op for ordforrådet, bremser denne gradvist ord, der dukker op for ofte, hvilket gør den særligt effektiv mod løkker i lange tekster.

# No frequency penalty
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# With frequency penalty — reduces very frequent tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Ligesom den forrige varierer den fra -2,0 til 2,0 med 0,0 som standard, hvor en positiv værdi i stigende grad straffer hyppige tokens. Dets nyttige interval i produktion er dog smallere: 0,0 til 1,0, fordi dens kumulative natur gør den mere aggressiv ved samme værdier.

Følgende tabel opsummerer forskellene mellem dem.

FunktionStraf for tilstedeværelseStraf for frekvens
UdløserVed 1. forekomstVed hver forekomst
VækstFast (samme straf)Kumulativ (stiger)
EffektOrdforrådsdiversitetReducerer gentagelser
Bedst tilUdforskning af nye emnerUndgåelse af ord-løkker

Konfigurationer efter hensigt

I praksis finjusterer du disse to parametre sammen med temperaturen, afhængigt af hvad din applikation producerer. En chatbot behøver let diversitet og ingen gentagelser, ikke mere. Kreativ skrivning skubber straffen for tilstedeværelse for at berige ordforrådet, mens straffen for frekvens holdes moderat. Dataekstraktion derimod deaktiverer begge: gentagelse er legitim her, og det samme feltnavn kan skulle optræde ti gange. Opsummering ligger et sted imellem, med lige nok straf til at undgå at kopiere kildeteksten direkte.

# Chatbot — slight diversity, no repetitions
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Creative writing — rich vocabulary, no loops
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Data extraction — no penalties (exact response)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Summary — some diversity to avoid copy-paste
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnosticér før du finjusterer

At finjustere disse parametre på må og få fører hurtigt til vilkårlige justeringer. Mål i stedet. Funktionen nedenfor beregner en diversitetsratio – unikke ord divideret med samlede ord – og isolerer ord længere end tre bogstaver, der optræder mere end to gange, hvilket filtrerer artikler og præpositioner fra, hvis gentagelse er normal. Kør den på samme prompt med tre forskellige frequency_penalty-værdier, og du vil se ratioen stige og derefter flade ud: det plateau markerer den værdi, hvorefter du ikke opnår yderligere gevinst.

def analyze_repetition(text: str) -> dict:
    """Analyzes the repetition rate of generated text."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Count words that appear more than 2 times
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Test with and without penalties
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

To måder at ødelægge det hele på

Den første er at gå for højt op. Over 1,5 undgår modellen almindelige ord i så høj grad, at den substituerer upassende alternativer: teksten bliver usammenhængende og fyldt med misbrugte sjældne termer. I en forklaring på Pythagoras’ læresætning forhindrer straffe på 2,0 modellen i at gentage „side” og „trekant” – netop de ord, beviset har brug for.

# BAD — penalty too strong
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Result: disjointed text, misused rare words

Den anden er at kombinere høje straffe med høj temperatur. Hver mekanisme tilføjer sin del af tilfældighed til den samme udvælgelsesproces, og deres overlejring producerer næsten tilfældig tekst. Som med temperature og top_p er disciplinen at justere én parameter ad gangen.

# AVOID — too much randomness
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# CORRECT — adjust one parameter at a time
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Vigtige pointer

  • Straf for tilstedeværelse: Fast straf, når et token er set – udvider ordforrådet
  • Straf for frekvens: Kumulativ straf proportional med frekvensen – bekæmper løkker
  • Begge varierer fra -2,0 til 2,0, standard 0,0
  • Hold dig i intervallet 0,0 til 1,0 i produktion for de fleste tilfælde
  • Kombiner ikke høje værdier med høj temperatur
  • Deaktivér straffe ved ekstraktion og klassificering (hvor gentagelse er acceptabelt)