Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Kazni za prisotnost in pogostost

Lekcija 14 od 16 Posodobljeno 2. november 2026 Razvijalec
Na tej strani
  1. Boj proti ponavljanju
  2. Kazen za prisotnost: fiksna kazen
  3. Kazen za pogostost: kumulativna kazen
  4. Konfiguracije glede na namen
  5. Pred uglaševanjem diagnosticiraj
  6. Dva načina, da vse uničiš
  7. Ključne ugotovitve

Boj proti ponavljanju

Jezikovni modeli imajo naravno težnjo k ponavljanju. To se kaže na tri prepoznavne načine: ista beseda se v odstavku vrti v krogu, enake stavčne strukture se ponavljajo vrstico za vrstico ali pa se celotni odstavki preoblikujejo, ne da bi dodali nove informacije. Temperatura tega ne popravi – povečevanje splošne naključnosti poslabša koherenco, ne da bi zagotovilo besedno raznolikost. Parametra presence_penalty in frequency_penalty ponujata veliko natančnejši nadzor, pod pogojem, da razumeš razliko med njima.

Kazen za prisotnost: fiksna kazen

Kazen za prisotnost (presence penalty) uporabi eno samo, fiksno kazen za vsak žeton (token), ki se je v generiranem odgovoru pojavil vsaj enkrat. Ni pomembno, ali je bil žeton uporabljen enkrat ali petnajstkrat – kazen ostane enaka. Učinek je spodbujanje modela, da črpa iz besed, ki jih še ni uporabil, s čimer se razširi besedišče odgovora. Zahtevaj deset pridevnikov za opis morja in takoj boš videl razliko – brez kazni se različice običajno vrtijo okoli treh ali štirih semantičnih polj.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Brez kazni — model se lahko ponavlja
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# S kaznjo za prisotnost — spodbuja raznolikost besedišča
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parameter sprejema vrednosti od -2.0 do 2.0, pri čemer je 0.0 privzeta vrednost. Pozitivna vrednost kaznuje že videne žetone in s tem ustvari večjo raznolikost; negativna vrednost deluje obratno in favorizira ponavljanje, kar je uporabno le v zelo specifičnih primerih, kot je generiranje refrenov ali ponavljajočih se formul. V produkcijskem okolju ostani v razponu 0.0 do 1.5.

Kazen za pogostost: kumulativna kazen

Kazen za pogostost (frequency penalty) deluje drugače: kazen je kumulativna in raste s številom pojavitev žetona. Bolj ko se beseda ponavlja, manj verjetna postane ob naslednji pojavitvi. Medtem ko kazen za prisotnost odpira besedišče, ta parameter postopoma upočasnjuje besede, ki se prepogosto vračajo, kar je še posebej učinkovito proti zankam v dolgih besedilih.

# Brez kazni za pogostost
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# S kaznjo za pogostost — zmanjša zelo pogoste žetone
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Tako kot prejšnji se tudi ta giblje od -2.0 do 2.0 s privzeto vrednostjo 0.0, pri čemer pozitivna vrednost vse bolj kaznuje pogoste žetone. Njegov uporaben razpon v produkcijskem okolju je ožji: 0.0 do 1.0, saj ga zaradi kumulativne narave pri enakih vrednostih deluje bolj agresivno.

Naslednja tabela povzema razlike med njima.

ZnačilnostKazen za prisotnostKazen za pogostost
SprožilecOb 1. pojavitviOb vsaki pojavitvi
RastFiksna (ista kazen)Kumulativna (narašča)
UčinekRaznolikost besediščaZmanjšuje ponavljanja
Najboljše zaRaziskovanje novih temIzogibanje besednim zankam

Konfiguracije glede na namen

V praksi ta dva parametra uglašuješ skupaj s temperaturo, odvisno od tega, kaj tvoja aplikacija proizvaja. Klepetalni bot potrebuje rahlo raznolikost in brez ponavljanj, nič več. Kreativno pisanje potisne kazen za prisotnost navzgor, da obogati besedišče, medtem ko ohranja kazen za pogostost zmerno. Pridobivanje podatkov (data extraction) po drugi strani onemogoči obe: tam je ponavljanje legitimno in isto ime polja se morda mora pojaviti desetkrat. Povzemanje je nekje vmes, s tolikšno kaznijo, da se izogne kopiranju izvornega besedila.

# Klepetalni bot — rahla raznolikost, brez ponavljanj
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Kreativno pisanje — bogato besedišče, brez zank
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Pridobivanje podatkov — brez kazni (točen odgovor)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Povzetek — nekaj raznolikosti za izogibanje kopiranju
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Pred uglaševanjem diagnosticiraj

Uglaševanje teh parametrov “na uho” hitro vodi v poljubne prilagoditve. Namesto tega meri. Spodnja funkcija izračuna razmerje raznolikosti (edinstvene besede glede na skupno število besed) in izolira besede, daljše od treh črk, ki se pojavijo več kot dvakrat, s čimer se filtrirajo členi in predlogi, katerih ponavljanje je normalno. Zaženi jo z istim pozivom in tremi vrednostmi frequency_penalty ter videl boš, kako razmerje narašča, nato pa doseže plato: ta plato označuje vrednost, preko katere ne pridobiš ničesar več.

def analyze_repetition(text: str) -> dict:
    """Analizira stopnjo ponavljanja generiranega besedila."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Preštej besede, ki se pojavijo več kot 2-krat
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Testiranje z in brez kazni
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Dva načina, da vse uničiš

Prvi je pretiravanje. Nad vrednostjo 1.5 se model tako zelo izogiba običajnim besedam, da jih nadomešča z neustreznimi alternativami: besedilo postane neskladno, prežeto z napačno uporabljenimi redkimi izrazi. Pri razlagi Pitagorovega izreka kazni z vrednostjo 2.0 preprečijo modelu ponavljanje besed “stranica” in “trikotnik” – torej ravno tistih besed, ki jih dokaz potrebuje.

# SLABO — kazen premočna
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Rezultat: neskladno besedilo, napačno uporabljene redke besede

Drugi način je kombiniranje visokih kazni z visoko temperaturo. Vsak mehanizem doda svoj delež naključnosti v isti proces izbire in njihova superpozicija proizvede skoraj naključno besedilo. Tako kot pri temperature in top_p je disciplina v tem, da prilagajaš en parameter naenkrat.

# IZOGIBAJ SE — preveč naključnosti
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# PRAVILNO — prilagodi en parameter naenkrat
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Ključne ugotovitve

  • Kazen za prisotnost: fiksna kazen, ko je žeton enkrat viden – razširi besedišče
  • Kazen za pogostost: kumulativna kazen, sorazmerna s pogostostjo – se bori proti zankam
  • Obsegata od -2.0 do 2.0, privzeta vrednost je 0.0
  • V produkcijskem okolju za večino primerov ostani v razponu 0.0 do 1.0
  • Ne kombiniraj visokih vrednosti z visoko temperaturo
  • Onemogoči kazni za pridobivanje podatkov in klasifikacijo (kjer je ponavljanje sprejemljivo)