Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Presence- ja frequency-parametrit

Oppitunti 14 / 16 Päivitetty 2. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Toiston torjunta
  2. Presence-penalty: kiinteä sanktio
  3. Frequency-penalty: kumulatiivinen sanktio
  4. Konfiguraatiot käyttötarkoituksen mukaan
  5. Diagnostiikka ennen säätöä
  6. Kaksi tapaa pilata kaikki
  7. Keskeiset asiat

Toiston torjunta

Kielimallit toistavat itseään luonnostaan. Tämä ilmenee kolmella tavalla: sama sana kiertää kappaleessa, lauserakenteet toistuvat riviltä toiselle tai kokonaiset kappaleet muotoillaan uudelleen tuomatta uutta tietoa. Lämpötila (temperature) ei ratkaise ongelmaa: yleisen satunnaisuuden kasvattaminen heikentää yhtenäisyyttä takaamatta sanastollista vaihtelua. Parametrit presence_penalty ja frequency_penalty tarjoavat huomattavasti hienosäätöisemmän kontrollin, kunhan ymmärrät niiden eron.

Presence-penalty: kiinteä sanktio

Presence-penalty kohdistaa yhden, kiinteän sanktion jokaiseen tokeniin, joka on esiintynyt generoidussa vastauksessa vähintään kerran. Sillä ei ole väliä, käytettiinkö tokenia kerran vai viisitoista kertaa – sanktio pysyy samana. Vaikutuksena on kannustaa mallia hyödyntämään sanoja, joita se ei ole vielä käyttänyt, mikä laajentaa vastauksen sanastoa. Pyydä kymmentä adjektiivia kuvaamaan merta, niin näet eron heti: ilman sanktiota variaatiot pyörivät usein vain kolmen tai neljän semanttisen kentän ympärillä.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Ei sanktiota — malli saattaa toistaa itseään
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Presence-penalty käytössä — kannustaa sanaston monimuotoisuuteen
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parametri hyväksyy arvot väliltä -2.0–2.0, oletusarvon ollessa 0.0. Positiivinen arvo sanktioi jo nähtyjä tokeneita ja tuottaa siten enemmän vaihtelua; negatiivinen arvo tekee päinvastoin ja suosii toistoa, mikä on hyödyllistä vain hyvin erityistapauksissa, kuten kertosäkeiden tai toistuvien kaavojen generoinnissa. Tuotantoympäristössä pysy välillä 0.0–1.5.

Frequency-penalty: kumulatiivinen sanktio

Frequency-penalty toimii eri tavalla: sanktio on kumulatiivinen ja kasvaa tokenin esiintymiskertojen myötä. Mitä useammin sana toistuu, sitä epätodennäköisemmäksi sen seuraava esiintyminen muuttuu. Kun presence-penalty avaa sanastoa, tämä parametri hidastaa progressiivisesti liian usein palaavia sanoja, mikä tekee siitä erityisen tehokkaan pitkien tekstien silmukkamaisen toiston estämisessä.

# Ei frequency-sanktiota
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Frequency-penalty käytössä — vähentää hyvin yleisiä tokeneita
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Kuten edellinenkin, sen arvoalue on -2.0–2.0 oletusarvon ollessa 0.0; positiivinen arvo sanktioi yhä voimakkaammin usein toistuvia tokeneita. Sen hyödyllinen alue tuotannossa on kuitenkin kapeampi: 0.0–1.0, koska sen kumulatiivinen luonne tekee siitä yhtä suurilla arvoilla aggressiivisemman.

Seuraava taulukko tiivistää niiden väliset erot.

OminaisuusPresence-penaltyFrequency-penalty
Laukaisu1. esiintymälläJokaisella esiintymällä
KasvuKiinteä (sama sanktio)Kumulatiivinen (kasvaa)
VaikutusSanaston monimuotoisuusVähentää toistoa
Paras käyttötarkoitusUusien aiheiden tutkiminenSanasilmukoiden välttäminen

Konfiguraatiot käyttötarkoituksen mukaan

Käytännössä säädät näitä kahta parametria yhdessä lämpötilan kanssa sovelluksesi tuottaman sisällön perusteella. Chatbot tarvitsee hienovaraisen vaihtelun eikä toistoa, ei muuta. Luova kirjoittaminen vaatii korkeampaa presence-penaltyä sanaston rikastamiseksi pitäen frequency-penaltyn kohtuullisena. Datan ekstraktio taas poistaa molemmat käytöstä: toisto on siinä legitimiä, ja saman kentän nimen täytyy ehkä esiintyä kymmenen kertaa. Tiivistäminen sijoittuu näiden väliin: sanktiota tarvitaan juuri sen verran, ettei lähde tekstiä kopioida sellaisenaan.

# Chatbot — hieno vaihtelu, ei toistoa
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Luova kirjoittaminen — rikas sanasto, ei silmukoita
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Datan ekstraktio — ei sanktioita (tarkka vastaus)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Tiivistelmä — jonkin verran vaihtelua kopioinnin välttämiseksi
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnostiikka ennen säätöä

Näiden parametrien säätäminen mututuntumalla johtaa nopeasti mielivaltaisiin muutoksiin. Mittaa sen sijaan. Alla oleva funktio laskee monimuotoisuussuhteen (uniikit sanat jaettuna sanojen kokonaismäärällä) ja eristää yli kolmen kirjaimen pituiset sanat, jotka esiintyvät useammin kuin kahdesti. Tämä suodattaa pois artikkelit ja prepositiot, joiden toistuminen on normaalia. Suorita se samalla kehotteella kolmella eri frequency_penalty-arvolla, niin näet suhteen nousevan ja sitten tasaantuvan: tämä tasanne merkitsee arvoa, jonka ylittämisestä ei ole enää hyötyä.

def analyze_repetition(text: str) -> dict:
    """Analysoi generoidun tekstin toistumisastetta."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Laske sanat, jotka esiintyvät useammin kuin 2 kertaa
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Testaa sanktioiden kanssa ja ilman
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Kaksi tapaa pilata kaikki

Ensimmäinen on liian korkeiden arvojen käyttö. Yli 1.5:n malli välttää yleisiä sanoja niin voimakkaasti, että se korvaa ne sopimattomilla vaihtoehdoilla: tekstistä tulee hajanainen ja täynnä väärin käytettyjä harvinaisia termejä. Selityksessä Pythagoraan lauseesta 2.0:n sanktiot estävät mallia toistamasta sanoja “sivu” ja “kolmio” – juuri niitä sanoja, joita todistus tarvitsee.

# HUONO — sanktio liian voimakas
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Tulos: hajanainen teksti, väärin käytettyjä harvinaisia sanoja

Toinen virhe on yhdistää korkeat sanktiot korkeaan lämpötilaan. Kukin mekanismi lisää oman osuutensa satunnaisuutta samaan valintaprosessiin, ja niiden päällekkäisyys tuottaa lähes satunnaista tekstiä. Kuten temperature- ja top_p-parametrien kanssa, kuria vaaditaan säätämään yhtä parametria kerrallaan.

# VÄLTÄ — liian paljon satunnaisuutta
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# OIKEIN — säädä yhtä parametria kerrallaan
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Keskeiset asiat

  • Presence-penalty: kiinteä sanktio, kun token on nähty – laajentaa sanastoa
  • Frequency-penalty: kumulatiivinen sanktio, joka on verrannollinen esiintymistiheyteen – torjuu silmukoita
  • Molempien arvoalue on -2.0–2.0, oletus 0.0
  • Pysy useimmissa tapauksissa tuotannossa välillä 0.0–1.0
  • Älä yhdistä korkeita arvoja korkeaan lämpötilaan
  • Poista sanktiot käytöstä ekstraktiossa ja luokittelussa (joissa toisto on hyväksyttävää)