Presence- ja frequency-parametrit
Tällä sivulla
Toiston torjunta
Kielimallit toistavat itseään luonnostaan. Tämä ilmenee kolmella tavalla: sama sana kiertää kappaleessa, lauserakenteet toistuvat riviltä toiselle tai kokonaiset kappaleet muotoillaan uudelleen tuomatta uutta tietoa. Lämpötila (temperature) ei ratkaise ongelmaa: yleisen satunnaisuuden kasvattaminen heikentää yhtenäisyyttä takaamatta sanastollista vaihtelua. Parametrit presence_penalty ja frequency_penalty tarjoavat huomattavasti hienosäätöisemmän kontrollin, kunhan ymmärrät niiden eron.
Presence-penalty: kiinteä sanktio
Presence-penalty kohdistaa yhden, kiinteän sanktion jokaiseen tokeniin, joka on esiintynyt generoidussa vastauksessa vähintään kerran. Sillä ei ole väliä, käytettiinkö tokenia kerran vai viisitoista kertaa – sanktio pysyy samana. Vaikutuksena on kannustaa mallia hyödyntämään sanoja, joita se ei ole vielä käyttänyt, mikä laajentaa vastauksen sanastoa. Pyydä kymmentä adjektiivia kuvaamaan merta, niin näet eron heti: ilman sanktiota variaatiot pyörivät usein vain kolmen tai neljän semanttisen kentän ympärillä.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
# Ei sanktiota — malli saattaa toistaa itseään
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Presence-penalty käytössä — kannustaa sanaston monimuotoisuuteen
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)
Parametri hyväksyy arvot väliltä -2.0–2.0, oletusarvon ollessa 0.0. Positiivinen arvo sanktioi jo nähtyjä tokeneita ja tuottaa siten enemmän vaihtelua; negatiivinen arvo tekee päinvastoin ja suosii toistoa, mikä on hyödyllistä vain hyvin erityistapauksissa, kuten kertosäkeiden tai toistuvien kaavojen generoinnissa. Tuotantoympäristössä pysy välillä 0.0–1.5.
Frequency-penalty: kumulatiivinen sanktio
Frequency-penalty toimii eri tavalla: sanktio on kumulatiivinen ja kasvaa tokenin esiintymiskertojen myötä. Mitä useammin sana toistuu, sitä epätodennäköisemmäksi sen seuraava esiintyminen muuttuu. Kun presence-penalty avaa sanastoa, tämä parametri hidastaa progressiivisesti liian usein palaavia sanoja, mikä tekee siitä erityisen tehokkaan pitkien tekstien silmukkamaisen toiston estämisessä.
# Ei frequency-sanktiota
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Frequency-penalty käytössä — vähentää hyvin yleisiä tokeneita
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)
Kuten edellinenkin, sen arvoalue on -2.0–2.0 oletusarvon ollessa 0.0; positiivinen arvo sanktioi yhä voimakkaammin usein toistuvia tokeneita. Sen hyödyllinen alue tuotannossa on kuitenkin kapeampi: 0.0–1.0, koska sen kumulatiivinen luonne tekee siitä yhtä suurilla arvoilla aggressiivisemman.
Seuraava taulukko tiivistää niiden väliset erot.
| Ominaisuus | Presence-penalty | Frequency-penalty |
|---|---|---|
| Laukaisu | 1. esiintymällä | Jokaisella esiintymällä |
| Kasvu | Kiinteä (sama sanktio) | Kumulatiivinen (kasvaa) |
| Vaikutus | Sanaston monimuotoisuus | Vähentää toistoa |
| Paras käyttötarkoitus | Uusien aiheiden tutkiminen | Sanasilmukoiden välttäminen |
Konfiguraatiot käyttötarkoituksen mukaan
Käytännössä säädät näitä kahta parametria yhdessä lämpötilan kanssa sovelluksesi tuottaman sisällön perusteella. Chatbot tarvitsee hienovaraisen vaihtelun eikä toistoa, ei muuta. Luova kirjoittaminen vaatii korkeampaa presence-penaltyä sanaston rikastamiseksi pitäen frequency-penaltyn kohtuullisena. Datan ekstraktio taas poistaa molemmat käytöstä: toisto on siinä legitimiä, ja saman kentän nimen täytyy ehkä esiintyä kymmenen kertaa. Tiivistäminen sijoittuu näiden väliin: sanktiota tarvitaan juuri sen verran, ettei lähde tekstiä kopioida sellaisenaan.
# Chatbot — hieno vaihtelu, ei toistoa
CONFIG_CHATBOT = {
"temperature": 0.7,
"presence_penalty": 0.3,
"frequency_penalty": 0.3
}
# Luova kirjoittaminen — rikas sanasto, ei silmukoita
CONFIG_CREATIF = {
"temperature": 0.9,
"presence_penalty": 0.8,
"frequency_penalty": 0.5
}
# Datan ekstraktio — ei sanktioita (tarkka vastaus)
CONFIG_EXTRACTION = {
"temperature": 0.0,
"presence_penalty": 0.0,
"frequency_penalty": 0.0
}
# Tiivistelmä — jonkin verran vaihtelua kopioinnin välttämiseksi
CONFIG_RESUME = {
"temperature": 0.3,
"presence_penalty": 0.2,
"frequency_penalty": 0.4
}
Diagnostiikka ennen säätöä
Näiden parametrien säätäminen mututuntumalla johtaa nopeasti mielivaltaisiin muutoksiin. Mittaa sen sijaan. Alla oleva funktio laskee monimuotoisuussuhteen (uniikit sanat jaettuna sanojen kokonaismäärällä) ja eristää yli kolmen kirjaimen pituiset sanat, jotka esiintyvät useammin kuin kahdesti. Tämä suodattaa pois artikkelit ja prepositiot, joiden toistuminen on normaalia. Suorita se samalla kehotteella kolmella eri frequency_penalty-arvolla, niin näet suhteen nousevan ja sitten tasaantuvan: tämä tasanne merkitsee arvoa, jonka ylittämisestä ei ole enää hyötyä.
def analyze_repetition(text: str) -> dict:
"""Analysoi generoidun tekstin toistumisastetta."""
words = text.lower().split()
total = len(words)
unique = len(set(words))
# Laske sanat, jotka esiintyvät useammin kuin 2 kertaa
from collections import Counter
counts = Counter(words)
repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}
return {
"total_words": total,
"unique_words": unique,
"diversity_ratio": round(unique / total, 3) if total > 0 else 0,
"repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
}
# Testaa sanktioiden kanssa ja ilman
for fp in [0.0, 0.5, 1.0]:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
max_tokens=500,
frequency_penalty=fp
)
text = response.choices[0].message.content
stats = analyze_repetition(text)
print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")
Kaksi tapaa pilata kaikki
Ensimmäinen on liian korkeiden arvojen käyttö. Yli 1.5:n malli välttää yleisiä sanoja niin voimakkaasti, että se korvaa ne sopimattomilla vaihtoehdoilla: tekstistä tulee hajanainen ja täynnä väärin käytettyjä harvinaisia termejä. Selityksessä Pythagoraan lauseesta 2.0:n sanktiot estävät mallia toistamasta sanoja “sivu” ja “kolmio” – juuri niitä sanoja, joita todistus tarvitsee.
# HUONO — sanktio liian voimakas
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
presence_penalty=2.0,
frequency_penalty=2.0
)
# Tulos: hajanainen teksti, väärin käytettyjä harvinaisia sanoja
Toinen virhe on yhdistää korkeat sanktiot korkeaan lämpötilaan. Kukin mekanismi lisää oman osuutensa satunnaisuutta samaan valintaprosessiin, ja niiden päällekkäisyys tuottaa lähes satunnaista tekstiä. Kuten temperature- ja top_p-parametrien kanssa, kuria vaaditaan säätämään yhtä parametria kerrallaan.
# VÄLTÄ — liian paljon satunnaisuutta
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}
# OIKEIN — säädä yhtä parametria kerrallaan
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}
Keskeiset asiat
- Presence-penalty: kiinteä sanktio, kun token on nähty – laajentaa sanastoa
- Frequency-penalty: kumulatiivinen sanktio, joka on verrannollinen esiintymistiheyteen – torjuu silmukoita
- Molempien arvoalue on -2.0–2.0, oletus 0.0
- Pysy useimmissa tapauksissa tuotannossa välillä 0.0–1.0
- Älä yhdistä korkeita arvoja korkeaan lämpötilaan
- Poista sanktiot käytöstä ekstraktiossa ja luokittelussa (joissa toisto on hyväksyttävää)