Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Penalitàjiet tal-Preżenza u tal-Frekwenza

Lezzjoni 14 / 16 Aġġornat 2 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Il-Ġlieda kontra r-Ripetizzjoni
  2. Penalità tal-Preżenza: Penalità Fissa
  3. Penalità tal-Frekwenza: Penalità Kumulattiva
  4. Konfigurazzjonijiet skont l-Intenzjoni
  5. Idjanjostika Qabel ma Taġġusta
  6. Żewġ Modi kif Tħassar Kollox
  7. Punti Ewlenin

Il-Ġlieda kontra r-Ripetizzjoni

Il-mudelli tal-lingwa għandha tendenza naturali li jirrepetu ruħhom. Dan jidher bi tliet modi rikonoxxibbli: l-istess kelma ddur f’paragrafu, strutturi ta’ frażijiet identiċi jirrepetu linja wara linja, jew paragrafi sħaħ jiġu riformulati mingħajr ma jżidu informazzjoni ġdida. It-temperatura ma ssolvix dan—li żżid iċ-ċans globali jnaqqas il-kohorenza mingħajr ma jiggarantixxi varjetà lessikali. Il-parametri presence_penalty u frequency_penalty joffru kontroll ferm aktar fin, sakemm tifhem x’jiddistingwihom.

Penalità tal-Preżenza: Penalità Fissa

Il-penalità tal-preżenza tapplika penalità waħda u fissa għal kull token li deher mill-inqas darba fir-risposta ġġenerata. M’hemmx importanza jekk it-token intużax darba jew ħmistax-il darba—il-penalità tibqa’ l-istess. L-effett huwa li tħeġġeġ lill-mudell biex jiġbed minn kliem li għadu ma użax, li jwessa’ l-vokabolarju tar-risposta. Jekk titlob għaxar aġġettivi biex tiddeskrivi l-baħar, tara d-differenza immedjatament—mingħajr penalità, il-varjazzjonijiet ħafna drabi jduru madwar tlieta jew erba’ oqsma semantiċi.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# L-ebda penalità — il-mudell jista' jirrepeti ruħu
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Bil-penalità tal-preżenza — tħeġġeġ id-diversità tal-vokabolarju
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Il-parametra jaċċetta valuri minn -2.0 sa 2.0, b’0.0 bħala default. Valur pożittiv jippenalizza t-tokens diġà viżibbli u għalhekk jipproduċi aktar diversità; valur negattiv jagħmel l-oppost u jiffavorixxi r-ripetizzjoni, li hija utli biss f’każijiet speċifiċi ħafna bħall-ġenerazzjoni ta’ refren jew formuli ripetuti. Fil-produzzjoni, ibqa’ fil-firxa ta’ 0.0 sa 1.5.

Penalità tal-Frekwenza: Penalità Kumulattiva

Il-penalità tal-frekwenza taħdem b’mod differenti: il-penalità hija kumulattiva u tikber man-numru ta’ okkorrenzi tat-token. Aktar ma kelma tiġi ripetuta, inqas probabbli ssir fl-okkorrenza li jmiss. Fejn il-penalità tal-preżenza tiftaħ il-vokabolarju, din il-waħda tbaxxi progressivament il-kliem li jerġa’ jidher wisq spiss, u tagħmilha partikolarment effettiva kontra l-lupi f’testi twal.

# L-ebda penalità tal-frekwenza
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Bil-penalità tal-frekwenza — tnaqqas it-tokens frekwenti ħafna
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Bħall-preċedenti, tvarja minn -2.0 sa 2.0 b’0.0 bħala default, fejn valur pożittiv jippenalizza dejjem aktar it-tokens frekwenti. Madankollu, il-firxa utli tagħha fil-produzzjoni hija dejjaq: 0.0 sa 1.0, għax in-natura kumulattiva tagħha tagħmilha aktar aggressiva f’valuri ugwali.

It-tabella li ġejja tħares lejn x’jiddistingwihom.

KaratteristikaPenalità tal-preżenzaPenalità tal-frekwenza
TriggerFl-1 okkorrenzaF’kull okkorrenza
TkabbirFiss (l-istess penalità)Kumulattiv (jiżdied)
EffettDiversità tal-vokabolarjuTnaqqas ir-ripetizzjonijiet
L-aħjar għalEsplorazzjoni ta’ suġġetti ġoddaEvitar ta’ lupi fil-kliem

Konfigurazzjonijiet skont l-Intenzjoni

Fil-prattika, taġġusta dawn iż-żewġ parametri flimkien mat-temperatura, skont x’jipproduċi l-applikazzjoni tiegħek. Chatbot jeħtieġ diversità ħafifa u l-ebda ripetizzjoni, xejn aktar. Il-kitba kreattiva timbotta l-penalità tal-preżenza biex tgħanni l-vokabolarju filwaqt li żżomm il-penalità tal-frekwenza moderata. L-estrazzjoni tad-data, min-naħa l-oħra, tiddiżattiva t-tnejn: ir-ripetizzjoni hija leġittima hemmhekk, u l-istess isem ta’ qasam jista’ jkollu bżonn jidher għaxar darbiet. Is-sommarju jinsab f’nofs it-triq, bi penalità biżżejjed biss biex tevita l-copy-paste mit-test sors.

# Chatbot — diversità ħafifa, l-ebda ripetizzjoni
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Kitba kreattiva — vokabolarju rikk, l-ebda lupa
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Estrazzjoni tad-data — l-ebda penalità (risposta eżatta)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Sommarju — xi diversità biex tevita l-copy-paste
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Idjanjostika Qabel ma Taġġusta

Li taġġusta dawn il-parametri bil-widna biss twasslek malajr għal aġġustamenti arbitrarji. Minflok, kejjel. Il-funzjoni hawn taħt tikkalkula proporzjon ta’ diversità—kliem uniku fuq il-kliem totali—tiżola kliem itwal minn tliet ittri li jidher aktar minn darbtejn, li jiffiltra l-artikli u l-prepożizzjonijiet li r-ripetizzjoni tagħhom hija normali. Iġġriha fuq l-istess prompt b’tliet valuri ta’ frequency_penalty u tara l-proporzjon jitla’, imbagħad jistabbilizza: dik l-istabbilizzazzjoni timmarka l-valur lil hinn minnu ma tikseb xejn aktar.

def analyze_repetition(text: str) -> dict:
    """Janalizza r-rata ta' ripetizzjoni tat-test iġġenerat."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Għodd il-kliem li jidher aktar minn 2 darba
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Ittestja bi u mingħajr penalitajiet
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Żewġ Modi kif Tħassar Kollox

L-ewwel waħda hija li tmur għoli wisq. Lil hinn minn 1.5, il-mudell jevita l-kliem komuni tant li jissostitwixxi alternattivi mhux xierqa: it-test isir imqatta’, mimli termini rari użati ħażin. F’spjegazzjoni tat-teorema ta’ Pitagora, il-penalitajiet f’2.0 jipprevjenu lill-mudell milli jirrepeti “naħa” u “trijangolu”—eżattament il-kliem li l-prova teħtieġ.

# ĦŻIEN — penalità qawwija wisq
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Riżultat: test imqatta', kliem rari użat ħażin

It-tieni waħda hija li tgħaqqad penalitajiet għoljin ma’ temperatura għolja. Kull mekkaniżmu jżid is-sehem tiegħu ta’ każwalità fl-istess proċess ta’ għażla, u s-sovrappożizzjoni tagħhom tipproduċi test kważi każwali. Bħal ma’ temperature u top_p, id-dixxiplina hija li taġġusta parametru wieħed kull darba.

# EVITA — każwalità wisq
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# KORRETT — aġġusta parametru wieħed kull darba
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Punti Ewlenin

  • Penalità tal-preżenza: penalità fissa ladarba token jidher — twessa’ l-vokabolarju
  • Penalità tal-frekwenza: penalità kumulattiva proporzjonali għall-frekwenza — tiġġieled il-lupi
  • It-tnejn ivarjaw minn -2.0 sa 2.0, default 0.0
  • Fil-produzzjoni, ibqa’ fil-firxa 0.0 sa 1.0 għall-biċċa l-kbira tal-każijiet
  • Tgħaqqadx valuri għoljin ma’ temperatura għolja
  • Iddiżattiva l-penalitajiet għall-estrazzjoni u l-klassifikazzjoni (fejn ir-ripetizzjoni hija aċċettabbli)