Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Presence és Frequency büntetések

14. lecke 16 közül Frissítve 2026. november 2. Fejlesztő
Ezen az oldalon
  1. Az ismétlődés elleni küzdelem
  2. Presence Penalty: Fix büntetés
  3. Frequency Penalty: Kumulatív büntetés
  4. Konfigurációk szándék szerint
  5. Diagnózis előtt, mint hangolás
  6. Két módja annak, hogyan ronthatsz el mindent
  7. Főbb megállapítások

Az ismétlődés elleni küzdelem

A nyelvi modelleknek természetes hajlamuk van az ismétlésre. Ez három felismerhető módon nyilvánul meg: ugyanaz a szó kering egy bekezdésben, azonos mondatszerkezetek ismétlődnek sorról sorra, vagy egész bekezdések fogalmazódnak újra anélkül, hogy új információt adnának hozzá. A hőmérséklet (temperature) nem oldja meg ezt a problémát – a globális véletlenszerűség növelése rontja a koherenciát anélkül, hogy garantálná a szókincs változatosságát. A presence_penalty és a frequency_penalty paraméterek sokkal finomabb kontrollt tesznek lehetővé, feltéve, hogy érted a köztük lévő különbséget.

Presence Penalty: Fix büntetés

A presence penalty (jelenléti büntetés) egyetlen, fix büntetést alkalmaz minden olyan tokenre, amely legalább egyszer megjelent a generált válaszban. Mindegy, hogy a tokent egyszer vagy tizenötször használták – a büntetés mértéke ugyanaz marad. A hatás az, hogy a modellt arra ösztönzi, olyan szavakhoz nyúljon, amelyeket még nem használt, így szélesítve a válasz szókincsét. Kérj tíz melléknevet a tenger leírására, és azonnal látni fogod a különbséget: büntetés nélkül a variációk hajlamosak három-négy szemantikai mező körül keringeni.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Nincs büntetés — a modell ismételheti magát
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Presence penaltyvel — elősegíti a szókincs változatosságát
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

A paraméter -2.0 és 2.0 közötti értékeket fogad el, alapértelmezett értéke pedig 0.0. A pozitív érték bünteti a már látott tokeneket, így nagyobb változatosságot eredményez; a negatív érték ennek ellenkezőjét teszi, és az ismétlést részesíti előnyben, ami csak nagyon specifikus esetekben hasznos, például refrének vagy ismétlődő formulák generálásakor. Éles környezetben maradj a 0.0 és 1.5 közötti tartományban.

Frequency Penalty: Kumulatív büntetés

A frequency penalty (gyakorisági büntetés) másképp működik: a büntetés kumulatív, és a token előfordulásainak számával növekszik. Minél többször ismétlődik egy szó, annál kevésbé valószínű, hogy a következő alkalommal kiválasztják. Míg a presence penalty kiszélesíti a szókincset, ez a paraméter progresszíven lassítja a túl gyakran visszatérő szavakat, így különösen hatékony a hosszú szövegekben előforduló ciklusok ellen.

# Nincs frequency penalty
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Frequency penaltyvel — csökkenti a nagyon gyakori tokeneket
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Az előzőhöz hasonlóan ez is -2.0 és 2.0 között mozog, alapértelmezett értéke 0.0, ahol a pozitív érték egyre jobban bünteti a gyakori tokeneket. Az éles környezetben használható tartománya azonban szűkebb: 0.0 és 1.0 között, mivel kumulatív természete miatt azonos értékeknél agresszívebben viselkedik.

Az alábbi táblázat összefoglalja a köztük lévő különbségeket.

JellemzőPresence penaltyFrequency penalty
Kiváltó ok1. előforduláskorMinden előforduláskor
NövekedésFix (ugyanaz a büntetés)Kumulatív (növekszik)
HatásSzókincs változatosságaIsmétlések csökkentése
Legjobb felhasználásÚj témák felfedezéseSzóismétlődési ciklusok elkerülése

Konfigurációk szándék szerint

A gyakorlatban e két paramétert a hőmérséklettel (temperature) együtt hangolod, attól függően, mit állít elő az alkalmazásod. Egy chatbotnak enyhe változatosságra és ismétlésmentességre van szüksége, semmi másra. A kreatív írás növeli a presence penaltyt a szókincs gazdagítása érdekében, miközben a frequency penaltyt mérsékelten tartja. Az adatkiegyezés ezzel szemben mindkettőt letiltja: ott az ismétlés jogos, és ugyanannak a mezőnévnek tízszer is meg kell jelennie. Az összefoglalás valahol a kettő között helyezkedik el, éppen annyi büntetéssel, hogy elkerülje a forrásszöveg másolását-beillesztését.

# Chatbot — enyhe változatosság, nincs ismétlés
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Kreatív írás — gazdag szókincs, nincs ciklus
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Adatkiegyezés — nincs büntetés (pontos válasz)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Összefoglalás — némi változatosság a másolás-beillesztés elkerülésére
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnózis előtt, mint hangolás

Ezen paraméterek fülre történő hangolása gyorsan önkényes beállításokhoz vezet. Ehelyett mérj. Az alábbi függvény kiszámítja a változatossági arányt – az egyedi szavak számát az összes szóhoz viszonyítva – és izolálja a három betűnél hosszabb szavakat, amelyek kétszernél többször jelennek meg, ezzel kiszűrve a névelőket és elöljárószavakat, amelyek ismétlése normális. Futtasd ugyanazon a prompton három különböző frequency_penalty értékkel, és látni fogod, ahogy az arány nő, majd platóra ér: ez a plató jelzi azt az értéket, amelyen túl már nem nyersz semmit.

def analyze_repetition(text: str) -> dict:
    """Elemzi a generált szöveg ismétlődési rátáját."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Számolja meg azokat a szavakat, amelyek 2-nél többször jelennek meg
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Teszt büntetéssel és anélkül
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Két módja annak, hogyan ronthatsz el mindent

Az első, ha túl magasra mész. 1.5 felett a modell annyira kerüli a gyakori szavakat, hogy nem megfelelő alternatívákkal helyettesíti azokat: a szöveg töredezetté válik, tele helytelenül használt ritka kifejezésekkel. A Pitagorasz-tétel magyarázatában a 2.0-s büntetések megakadályozzák a modellt abban, hogy ismételje az „oldal“ és „háromszög“ szavakat – pontosan azokat a szavakat, amelyekre a bizonyításhoz szükség van.

# ROSSZ — a büntetés túl erős
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Eredmény: töredezett szöveg, helytelenül használt ritka szavak

A második hiba, ha magas büntetéseket kombinálsz magas hőmérséklettel. Mindkét mechanizmus hozzáadja a saját véletlenszerűségét ugyanahhoz a kiválasztási folyamathoz, és ezek叠加je szinte teljesen véletlenszerű szöveget eredményez. Ahogy a temperature és a top_p esetében is, itt is az a fegyelem, hogy egyszerre csak egy paramétert állíts.

# KERÜLD EL — túl sok véletlenszerűség
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# HELYES — egyszerre csak egy paramétert állíts
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Főbb megállapítások

  • Presence penalty: fix büntetés, amint egy token megjelenik – szélesíti a szókincset
  • Frequency penalty: a gyakorisággal arányos kumulatív büntetés – küzd a ciklusok ellen
  • Mindkettő -2.0 és 2.0 között mozog, alapértelmezett érték 0.0
  • A legtöbb esetben éles környezetben maradj a 0.0 és 1.0 közötti tartományban
  • Ne kombináld a magas értékeket magas hőmérséklettel
  • Letiltás a büntetéseknek kinyerés és osztályozás esetén (ahol az ismétlés elfogadható)