Karistused ja kordused
Sellel lehel
Silmuste ja korduste vältimine
Üks keelemudeli frustreerivamaid käitumisviise on kordumine: mudel jääb kinni samadesse sõnadesse, lauseehitustesse või ideedesse. Sa palud põhjalikku artiklit, kuid saad kolm lõiku, mis kõik algavad sõnaga „Lisaks“ ja iga rida sisaldab sõna „innovatsioon“. Mistrali mudelid pakuvad selle vastu võitlemiseks kahte parameetrit: olemasolu karistus (presence penalty) ja sageduse karistus (frequency penalty). Need näivad sarnased, kuid nende toimemehhanismid erinevad nii palju, et ühe valimine teise asemel muudab tulemust reaalselt.
Olemasolu karistus
Olemasolu karistus on ühekordne trahv, mida rakendatakse igale tokenile, mis on genereeritud vastuses esinenud vähemalt korra. Pole tähtis, kas tokenit kasutati üks kord või 50 korda: karistus on sama. Parameeter aktsepteerib väärtusi vahemikus -2.0 kuni 2.0, vaikimisi on 0 (välja lülitatud). Positiivne väärtus julgustab mudelit kasutama uusi sõnu; negatiivne väärtus, mida esineb harvemini, julgustab seda samu sõnu uuesti kasutama.
# Positiivne olemasolu karistus: mitmekesisem sõnavara
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Describe the benefits of remote work."}
],
presence_penalty=0.6
)
Praktikas on olemasolu karistus ideaalne, kui soovid, et mudel uuriks laiemat sõnavara ja kataks teema erinevaid tahke. Ülaltoodud kaugtöö näites suunab see mudelit rääkima tundide paindlikkusest, ettevõtte kinnisvarast ja süsiniku jalajäljest, selle asemel et korrata kolm korda sama aja kokkuhoiu argumenti.
Sageduse karistus
Sageduse karistus on seevastu kumulatiivne: see suureneb iga kord, kui tokenit uuesti kasutatakse. Mida sagedamini sõna esineb, seda suurem on karistus, muutes selle silmuste murdmisel oluliselt tõhusamaks kui olemasolu karistus. Selle väärtuste vahemik on sama, -2.0 kuni 2.0, vaikimisi 0.
# Sageduse karistus: vähendab sagedaste sõnade kordumist
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a 300-word article on artificial intelligence."}
],
frequency_penalty=0.5
)
Selle tugevaim külg on pikad tekstid, kus mudel kipub kordama samu sõnu või struktuure. 300-sõnaline artifikli tehisintellektist riskib ilma karistuseta korduda sõnu „AI“ ja „tehnoloogia“ igas lauses; sageduse karistus sunnib mudelit järk-järgult oma keelekasutust varieerima.
Erinevus kahe karistuse vahel
Nüansi mõistmiseks vaatame numbrilist näidet. Mudel on oma vastuses juba genereerinud sõna „innovatsioon“ 5 korda. Olemasolu karistusega 0.5 saab „innovatsioon“ karistuseks 0.5 – see on fikseeritud, 5 esinemist ei muuda midagi. Sageduse karistusega 0.5 saab sama sõna karistuseks 2.5, ehk 0.5 korrutatud selle 5 esinemiskorraga. Seega on sageduse karistus sageli korduvate tokenite vastu palju agressiivsem, samas kui olemasolu karistus avaldab kõigele, mis on juba öeldud, õrnat ja ühtlast survet.
Millal kumbagi karistust kasutada
Kasuta olemasolu karistust, kui eesmärk on teemaline mitmekesisus. Ajurünnaku sessioonil soovid kümnet tõeliselt erinevat ideed, mitte esimese idee kümmet ümber sõnastust:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "List 10 digital marketing trends for 2026."}
],
presence_penalty=0.8,
temperature=0.7
)
Kasuta sageduse karistust, kui eesmärk on teksti sujuvus. Pika juhendi puhul hoiab see ära keeleliste harjumuste tekkimist, moonutamata sõnumit:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a comprehensive guide on agile project management."}
],
frequency_penalty=0.4,
temperature=0.5
)
Miski ei takista sul mõlemat kombineerimast kumulatiivse efekti saavutamiseks – loominguline uudiskiri saab kasu nii mitmekesisest sõnavarast kui ka kordustevabast tekstist:
response = client.chat.complete(
model="mistral-large-latest",
messages=[
{"role": "user", "content": "Write a creative newsletter on tech trends."}
],
presence_penalty=0.3,
frequency_penalty=0.5,
temperature=0.6
)
Hoia äärmuslike väärtuste eest
Need karistused ei ole nupud, mida maksimumini keerata: liiga kõrged väärtused halvendavad kvaliteeti selle asemel, et seda parandada. Ületades olemasolu karistusel väärtust 1.0, hakkab mudel vältima tegelikult vajalikke levinud sõnu – artiklid, eessõnad – ja tekst muutub veidraks. Ületades sageduse karistusel väärtust 1.0, sunnib see kasutama sobimatuid sünonüüme lihtsalt kordumise vältimiseks: „auto“ muutub „sõidukiks“, siis „transpordivahendiks“, seejärel „mootorsõidukiks“ sama lõigu sees. Negatiivsed väärtused julgustavad kordumist, mis on harva soovitav. Praktiline soovitus: püsi mõlema parameetri puhul vahemikus 0.0 kuni 0.8; sellest kaugemal kaaluvad kõrvalmõjud kasu üles.
Ülesande põhjal juhendamiseks: ekstraktsioon ja klassifitseerimine toimuvad ilma igasuguse karistuseta (presence_penalty=0, frequency_penalty=0, täpsus on esikohal); lühike kirjutamine alla 200 sõna saab hakkama väärtusega frequency_penalty=0.2; pikk kirjutamine üle 500 sõna võidab kombineerimisest presence_penalty=0.3 ja frequency_penalty=0.5; ajurünnak pöörab domineerimise ümber väärtustega presence_penalty=0.6 ja frequency_penalty=0.3; ning unikaalsete punktide loend tõuseb väärtuseni presence_penalty=0.8 koos frequency_penalty=0.2.
Peamised punktid
- Olemasolu karistus julgustab uute sõnade kasutamist (fikseeritud karistus)
- Sageduse karistus pärsib sagedaste sõnade kordumist (kumulatiivne karistus)
- Mõlemad parameetrid jäävad vahemikku -2.0 kuni 2.0, vaikimisi on 0
- Püsi vahemikus 0.0 kuni 0.8, et vältida soovimatuid efekte
- Kasuta olemasolu karistust teemalise mitmekesisuse jaoks ja sageduse karistust teksti sujuvuse jaoks