Penalitàjiet tal-Preżenza u tal-Frekwenza
F'din il-paġna
Il-Ġlieda kontra r-Ripetizzjoni
Il-mudelli tal-lingwa għandha tendenza naturali li jirrepetu ruħhom. Dan jidher bi tliet modi rikonoxxibbli: l-istess kelma ddur f’paragrafu, strutturi ta’ frażijiet identiċi jirrepetu linja wara linja, jew paragrafi sħaħ jiġu riformulati mingħajr ma jżidu informazzjoni ġdida. It-temperatura ma ssolvix dan—li żżid iċ-ċans globali jnaqqas il-kohorenza mingħajr ma jiggarantixxi varjetà lessikali. Il-parametri presence_penalty u frequency_penalty joffru kontroll ferm aktar fin, sakemm tifhem x’jiddistingwihom.
Penalità tal-Preżenza: Penalità Fissa
Il-penalità tal-preżenza tapplika penalità waħda u fissa għal kull token li deher mill-inqas darba fir-risposta ġġenerata. M’hemmx importanza jekk it-token intużax darba jew ħmistax-il darba—il-penalità tibqa’ l-istess. L-effett huwa li tħeġġeġ lill-mudell biex jiġbed minn kliem li għadu ma użax, li jwessa’ l-vokabolarju tar-risposta. Jekk titlob għaxar aġġettivi biex tiddeskrivi l-baħar, tara d-differenza immedjatament—mingħajr penalità, il-varjazzjonijiet ħafna drabi jduru madwar tlieta jew erba’ oqsma semantiċi.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
# L-ebda penalità — il-mudell jista' jirrepeti ruħu
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Bil-penalità tal-preżenza — tħeġġeġ id-diversità tal-vokabolarju
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)
Il-parametra jaċċetta valuri minn -2.0 sa 2.0, b’0.0 bħala default. Valur pożittiv jippenalizza t-tokens diġà viżibbli u għalhekk jipproduċi aktar diversità; valur negattiv jagħmel l-oppost u jiffavorixxi r-ripetizzjoni, li hija utli biss f’każijiet speċifiċi ħafna bħall-ġenerazzjoni ta’ refren jew formuli ripetuti. Fil-produzzjoni, ibqa’ fil-firxa ta’ 0.0 sa 1.5.
Penalità tal-Frekwenza: Penalità Kumulattiva
Il-penalità tal-frekwenza taħdem b’mod differenti: il-penalità hija kumulattiva u tikber man-numru ta’ okkorrenzi tat-token. Aktar ma kelma tiġi ripetuta, inqas probabbli ssir fl-okkorrenza li jmiss. Fejn il-penalità tal-preżenza tiftaħ il-vokabolarju, din il-waħda tbaxxi progressivament il-kliem li jerġa’ jidher wisq spiss, u tagħmilha partikolarment effettiva kontra l-lupi f’testi twal.
# L-ebda penalità tal-frekwenza
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Bil-penalità tal-frekwenza — tnaqqas it-tokens frekwenti ħafna
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)
Bħall-preċedenti, tvarja minn -2.0 sa 2.0 b’0.0 bħala default, fejn valur pożittiv jippenalizza dejjem aktar it-tokens frekwenti. Madankollu, il-firxa utli tagħha fil-produzzjoni hija dejjaq: 0.0 sa 1.0, għax in-natura kumulattiva tagħha tagħmilha aktar aggressiva f’valuri ugwali.
It-tabella li ġejja tħares lejn x’jiddistingwihom.
| Karatteristika | Penalità tal-preżenza | Penalità tal-frekwenza |
|---|---|---|
| Trigger | Fl-1 okkorrenza | F’kull okkorrenza |
| Tkabbir | Fiss (l-istess penalità) | Kumulattiv (jiżdied) |
| Effett | Diversità tal-vokabolarju | Tnaqqas ir-ripetizzjonijiet |
| L-aħjar għal | Esplorazzjoni ta’ suġġetti ġodda | Evitar ta’ lupi fil-kliem |
Konfigurazzjonijiet skont l-Intenzjoni
Fil-prattika, taġġusta dawn iż-żewġ parametri flimkien mat-temperatura, skont x’jipproduċi l-applikazzjoni tiegħek. Chatbot jeħtieġ diversità ħafifa u l-ebda ripetizzjoni, xejn aktar. Il-kitba kreattiva timbotta l-penalità tal-preżenza biex tgħanni l-vokabolarju filwaqt li żżomm il-penalità tal-frekwenza moderata. L-estrazzjoni tad-data, min-naħa l-oħra, tiddiżattiva t-tnejn: ir-ripetizzjoni hija leġittima hemmhekk, u l-istess isem ta’ qasam jista’ jkollu bżonn jidher għaxar darbiet. Is-sommarju jinsab f’nofs it-triq, bi penalità biżżejjed biss biex tevita l-copy-paste mit-test sors.
# Chatbot — diversità ħafifa, l-ebda ripetizzjoni
CONFIG_CHATBOT = {
"temperature": 0.7,
"presence_penalty": 0.3,
"frequency_penalty": 0.3
}
# Kitba kreattiva — vokabolarju rikk, l-ebda lupa
CONFIG_CREATIF = {
"temperature": 0.9,
"presence_penalty": 0.8,
"frequency_penalty": 0.5
}
# Estrazzjoni tad-data — l-ebda penalità (risposta eżatta)
CONFIG_EXTRACTION = {
"temperature": 0.0,
"presence_penalty": 0.0,
"frequency_penalty": 0.0
}
# Sommarju — xi diversità biex tevita l-copy-paste
CONFIG_RESUME = {
"temperature": 0.3,
"presence_penalty": 0.2,
"frequency_penalty": 0.4
}
Idjanjostika Qabel ma Taġġusta
Li taġġusta dawn il-parametri bil-widna biss twasslek malajr għal aġġustamenti arbitrarji. Minflok, kejjel. Il-funzjoni hawn taħt tikkalkula proporzjon ta’ diversità—kliem uniku fuq il-kliem totali—tiżola kliem itwal minn tliet ittri li jidher aktar minn darbtejn, li jiffiltra l-artikli u l-prepożizzjonijiet li r-ripetizzjoni tagħhom hija normali. Iġġriha fuq l-istess prompt b’tliet valuri ta’ frequency_penalty u tara l-proporzjon jitla’, imbagħad jistabbilizza: dik l-istabbilizzazzjoni timmarka l-valur lil hinn minnu ma tikseb xejn aktar.
def analyze_repetition(text: str) -> dict:
"""Janalizza r-rata ta' ripetizzjoni tat-test iġġenerat."""
words = text.lower().split()
total = len(words)
unique = len(set(words))
# Għodd il-kliem li jidher aktar minn 2 darba
from collections import Counter
counts = Counter(words)
repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}
return {
"total_words": total,
"unique_words": unique,
"diversity_ratio": round(unique / total, 3) if total > 0 else 0,
"repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
}
# Ittestja bi u mingħajr penalitajiet
for fp in [0.0, 0.5, 1.0]:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
max_tokens=500,
frequency_penalty=fp
)
text = response.choices[0].message.content
stats = analyze_repetition(text)
print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")
Żewġ Modi kif Tħassar Kollox
L-ewwel waħda hija li tmur għoli wisq. Lil hinn minn 1.5, il-mudell jevita l-kliem komuni tant li jissostitwixxi alternattivi mhux xierqa: it-test isir imqatta’, mimli termini rari użati ħażin. F’spjegazzjoni tat-teorema ta’ Pitagora, il-penalitajiet f’2.0 jipprevjenu lill-mudell milli jirrepeti “naħa” u “trijangolu”—eżattament il-kliem li l-prova teħtieġ.
# ĦŻIEN — penalità qawwija wisq
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
presence_penalty=2.0,
frequency_penalty=2.0
)
# Riżultat: test imqatta', kliem rari użat ħażin
It-tieni waħda hija li tgħaqqad penalitajiet għoljin ma’ temperatura għolja. Kull mekkaniżmu jżid is-sehem tiegħu ta’ każwalità fl-istess proċess ta’ għażla, u s-sovrappożizzjoni tagħhom tipproduċi test kważi każwali. Bħal ma’ temperature u top_p, id-dixxiplina hija li taġġusta parametru wieħed kull darba.
# EVITA — każwalità wisq
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}
# KORRETT — aġġusta parametru wieħed kull darba
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}
Punti Ewlenin
- Penalità tal-preżenza: penalità fissa ladarba token jidher — twessa’ l-vokabolarju
- Penalità tal-frekwenza: penalità kumulattiva proporzjonali għall-frekwenza — tiġġieled il-lupi
- It-tnejn ivarjaw minn -2.0 sa 2.0, default 0.0
- Fil-produzzjoni, ibqa’ fil-firxa 0.0 sa 1.0 għall-biċċa l-kbira tal-każijiet
- Tgħaqqadx valuri għoljin ma’ temperatura għolja
- Iddiżattiva l-penalitajiet għall-estrazzjoni u l-klassifikazzjoni (fejn ir-ripetizzjoni hija aċċettabbli)