Rangaistukset ja toistot
Tällä sivulla
Silmukoiden ja toistojen välttäminen
Yksi kielimallien turhauttavimmista ominaisuuksista on toisto: malli jää jumiin samoihin sanoihin, lauserakenteisiin tai ajatuksiin. Pyydät syvällistä artikkelia, mutta saat kolme kappaletta, jotka kaikki alkavat sanalla “Lisäksi”, ja sana “innovaatio” toistuu jokaisella rivillä. Mistral-mallit tarjoavat kaksi parametria tämän torjumiseksi: presence penalty (esiintymärangaistus) ja frequency penalty (tiheysrangaistus). Ne näyttävät samankaltaisilta, mutta niiden toimintamekanismit eroavat siinä määrin, että toisen valitseminen toisen sijaan muuttaa tulosta aidosti.
Presence Penalty (Esiintymärangaistus)
Presence penalty on kertaluonteinen rangaistus, joka kohdistuu mihin tahansa tokeniin, joka on esiintynyt vähintään kerran generoidussa vastauksessa. Sillä ei ole väliä, käytettiinkö tokenia kerran vai 50 kertaa: rangaistus on sama. Parametri hyväksyy arvot väliltä -2,0–2,0, oletusarvon ollessa 0 (pois käytöstä). Positiivinen arvo kannustaa mallia käyttämään uusia sanoja; negatiivinen arvo, jota käytetään harvemmin, kannustaa sitä käyttämään samoja sanoja uudelleen.
# Positive presence penalty: more varied vocabulary
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Describe the benefits of remote work."}
],
presence_penalty=0.6
)
Käytännössä presence penalty on ihanteellinen, kun haluat mallin tutkivan laajempaa sanastoa ja käsittelevän aiheen eri näkökulmia. Yllä olevassa etätyöesimerkissä se ohjaa mallia käsittelemään joustavia työaikoja, yritysten kiinteistöjä ja hiilijalanjälkeä sen sijaan, että se toistaisi ajan säästymistä koskevan argumentin kolme kertaa.
Frequency Penalty (Tiheysrangaistus)
Frequency penalty puolestaan on kumulatiivinen: se kasvaa joka kerta, kun tokenia käytetään uudelleen. Mitä useammin sana esiintyy, sitä suurempi rangaistus siihen kohdistuu, mikä tekee siitä huomattavasti tehokkaamman kuin presence penalty silmukoiden rikkomisessa. Sen arvoalue on sama, -2,0–2,0, oletusarvon ollessa 0.
# Frequency penalty: reduces repetition of frequent words
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a 300-word article on artificial intelligence."}
],
frequency_penalty=0.5
)
Sen paras käyttökohde ovat pitkät tekstit, joissa malli pyrkii toistamaan samoja sanoja tai rakenteita. 300 sanan artikkeli tekoälystä ilman rangaistusta riskaa hakata sanoja “tekoäly” ja “tekniikka” jokaisessa lauseessa; frequency penalty pakottaa mallin vähitellen vaihtelemaan kielenkäyttöään.
Ero näiden kahden rangaistuksen välillä
Ymmärtääksesi eron hienovaraisuuden, tarkastellaan numeerista esimerkkiä. Malli on jo generoinut sanan “innovaatio” viisi kertaa vastauksessaan. Kun presence penalty on 0,5, sana “innovaatio” saa 0,5:n rangaistuksen – kiinteä summa, jossa viisi esiintymää ei muuta mitään. Kun frequency penalty on 0,5, sama sana saa 2,5:n rangaistuksen, eli 0,5 kerrottuna sen viidellä esiintymällä. Frequency penalty on siis paljon aggressiivisempi usein toistuville tokeneille, kun taas presence penalty kohdistaa kevyttä, tasaista painetta kaikkeen, mitä on jo sanottu.
Kumpaa rangaistusta milloinkin?
Käytä presence penaltyä, kun tavoitteena on teemaattinen monimuotoisuus. Aivoriihessä haluat kymmenen todella erilaista ideaa, et kymmentä muotoilua ensimmäisestä ideasta:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List 10 digital marketing trends for 2026."}
],
presence_penalty=0.8,
temperature=0.7
)
Käytä frequency penaltyä, kun tavoitteena on tekstin sujuvuus. Pitkässä oppaassa se estää kielellisten tapojen syntymisen vääristämättä viestiä:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a comprehensive guide on agile project management."}
],
frequency_penalty=0.4,
temperature=0.5
)
Mikään ei estä yhdistämästä molempia kumulatiivisen vaikutuksen saavuttamiseksi – luova uutiskirje hyötyy esimerkiksi sekä vaihtelevasta sanastosta että toistottomasta tekstistä:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a creative newsletter on tech trends."}
],
presence_penalty=0.3,
frequency_penalty=0.5,
temperature=0.6
)
Varo ääriarvoja
Nämä rangaistukset eivät ole säätimiä, joita kannattaa kääntää maksimiin: liian korkeat arvot heikentävät laatua sen sijaan, että parantaisivat sitä. Yli 1,0:n presence penalty -arvolla malli alkaa välttää yleisiä sanoja, jotka ovat itse asiassa välttämättömiä – artikkeleita, prepositioita – ja tekstistä tulee outoa. Yli 1,0:n frequency penalty -arvolla se pakottaa käyttämään sopimattomia synonyymejä vain välttääkseen toistoa: “auto” muuttuu “henkilöautoksi”, sitten “ajoneuvoksi”, sitten “moottorikäyttöiseksi kulkuneuvoksi” samassa kappaleessa. Negatiiviset arvot puolestaan kannustavat toistoon, mikä on harvoin toivottavaa. Käytännön suositus: pysy molempien parametrien osalta välillä 0,0–0,8; tämän ylittäessä haitat ovat hyötyjä suurempia.
Tehtäväkohtainen ohjeistus: tiedonpoisto ja luokittelu tapahtuvat ilman rangaistuksia (presence_penalty=0, frequency_penalty=0, tarkkuus on etusijalla); alle 200 sanan lyhyt kirjoittaminen pärjää arvolla frequency_penalty=0.2; yli 500 sanan pitkä kirjoittaminen hyötyy yhdistelmästä presence_penalty=0.3 ja frequency_penalty=0.5; aivoriihi kääntää painopisteen arvoilla presence_penalty=0.6 ja frequency_penalty=0.3; ja ainutlaatuisten kohtien lista voi nousta arvoon presence_penalty=0.8 yhdessä frequency_penalty=0.2:n kanssa.
Keskeiset asiat
- Presence penalty kannustaa käyttämään uusia sanoja (kiinteä rangaistus)
- Frequency penalty estää usein toistuvien sanojen käyttöä (kumulatiivinen rangaistus)
- Molempien parametrien arvoalue on -2,0–2,0, oletusarvon ollessa 0
- Pysy välillä 0,0–0,8 välttääksesi ei-toivottuja vaikutuksia
- Käytä presence penaltyä teemaattiseen monimuotoisuuteen ja frequency penaltyä tekstin sujuvuuteen