Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Kazne za prisutnost i učestalost

Lekcija 14 od 16 Ažurirano 2. studenoga 2026. Programer
Na ovoj stranici
  1. Borba protiv ponavljanja
  2. Kazna za prisutnost: Fiksna kazna
  3. Kazna za učestalost: Kumulativna kazna
  4. Konfiguracije prema namjeri
  5. Dijagnosticiraj prije podešavanja
  6. Dva načina da sve upropastiš
  7. Ključne točke

Borba protiv ponavljanja

Jezični modeli imaju prirodnu sklonost ponavljanju. To se očituje na tri prepoznatljiva načina: ista riječ se vrti u krug kroz odlomak, identične rečenične strukture se ponavljaju red za redom ili se cijeli odlomci prepričavaju bez dodavanja novih informacija. Temperatura to ne rješava – pojačavanje globalne nasumičnosti narušava koherentnost bez jamstva leksičke raznolikosti. Parametri presence_penalty i frequency_penalty nude puno precizniju kontrolu, pod uvjetom da razumiješ što ih razlikuje.

Kazna za prisutnost: Fiksna kazna

Kazna za prisutnost (presence penalty) primjenjuje jednu, fiksnu kaznu na svaki token koji se pojavio barem jednom u generiranom odgovoru. Nije bitno je li token korišten jednom ili petnaest puta – kazna ostaje ista. Efekt je poticanje modela da crpi iz riječi koje još nije koristio, čime se širi vokabular odgovora. Zatražiš li deset pridjeva za opis mora, odmah ćeš vidjeti razliku – bez kazne, varijacije teže kruženju oko tri ili četiri semantička polja.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Bez kazne — model se može ponavljati
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# S kaznom za prisutnost — potiče raznolikost vokabulara
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parametar prihvaća vrijednosti od -2.0 do 2.0, pri čemu je 0.0 zadana vrijednost. Pozitivna vrijednost kažnjava već viđene tokene i stoga proizvodi veću raznolikost; negativna vrijednost čini suprotno i favorizira ponavljanje, što je korisno samo u vrlo specifičnim slučajevima poput generiranja refrena ili ponovljenih formula. U produkciji se drži raspona od 0.0 do 1.5.

Kazna za učestalost: Kumulativna kazna

Kazna za učestalost (frequency penalty) funkcionira drugačije: kazna je kumulativna i raste s brojem pojavljivanja tokena. Što se riječ češće ponavlja, to je manje vjerojatna pri sljedećem pojavljivanju. Dok kazna za prisutnost otvara vokabular, ova progresivno usporava riječi koje se prečesto vraćaju, što je posebno učinkovito protiv petlji u dugim tekstovima.

# Bez kazne za učestalost
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# S kaznom za učestalost — smanjuje vrlo česte tokene
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Kao i prethodni, raspon je od -2.0 do 2.0 sa zadanom vrijednošću 0.0, gdje pozitivna vrijednost sve više kažnjava česte tokene. Njezin korisni raspon u produkciji je ipak uži: 0.0 do 1.0, jer je zbog svoje kumulativne prirode agresivnija pri jednakim vrijednostima.

Sljedeća tablica sažima razlike između njih.

ZnačajkaKazna za prisutnostKazna za učestalost
OkidačPri 1. pojavljivanjuPri svakom pojavljivanju
RastFiksni (ista kazna)Kumulativni (povećava se)
EfektRaznolikost vokabularaSmanjuje ponavljanja
Najbolje zaIstraživanje novih temaIzbjegavanje petlji riječi

Konfiguracije prema namjeri

U praksi ova dva parametra podešavaš uz temperaturu, ovisno o tome što tvoja aplikacija proizvodi. Chatbotu treba blaga raznolikost i bez ponavljanja, ništa više. Kreativno pisanje gura kaznu za prisutnost kako bi obogatilo vokabular, dok kaznu za učestalost drži umjerenom. Ekstrakcija podataka, s druge strane, onemogućuje obje: ponavljanje je tamo legitimno, a isto ime polja možda će se morati pojaviti deset puta. Sažimanje je negdje između, s dovoljno kazne da se izbjegne kopiranje izvornog teksta.

# Chatbot — blaga raznolikost, bez ponavljanja
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Kreativno pisanje — bogat vokabular, bez petlji
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Ekstrakcija podataka — bez kazni (točan odgovor)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Sažetak — nešto raznolikosti za izbjegavanje kopiranja
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Dijagnosticiraj prije podešavanja

Podešavanje ovih parametara “na uho” brzo vodi do proizvoljnih prilagodbi. Umjesto toga, mjeri. Funkcija u nastavku izračunava omjer raznolikosti – jedinstvene riječi prema ukupnom broju riječi – i izolira riječi dulje od tri slova koje se pojavljuju više od dva puta, čime se filtriraju članovi i prijedlozi čije je ponavljanje normalno. Pokreni je na istom promptu s tri vrijednosti frequency_penalty i vidjet ćeš kako omjer raste, a zatim doseže plato: taj plato označava vrijednost iznad koje više nemaš koristi.

def analyze_repetition(text: str) -> dict:
    """Analizira stopu ponavljanja generiranog teksta."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Broji riječi koje se pojavljuju više od 2 puta
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Testiraj s i bez kazni
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Dva načina da sve upropastiš

Prvi je pretjerivanje. Iznad 1.5, model toliko izbjegava uobičajene riječi da ih zamjenjuje neodgovarajućim alternativama: tekst postaje nepovezan, prošaran pogrešno korištenim rijetkim terminima. U objašnjenju Pitagorinog poučka, kazne od 2.0 sprječavaju model da ponovi „stranica“ i „trokut“ – upravo riječi koje su dokazu potrebne.

# LOŠE — pre jaka kazna
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Rezultat: nepovezan tekst, pogrešno korištene rijetke riječi

Drugi je kombiniranje visokih kazni s visokom temperaturom. Svaki mehanizam dodaje svoj dio nasumičnosti u isti proces odabira, a njihovo preklapanje proizvodi gotovo nasumičan tekst. Kao i kod temperature i top_p, disciplina je podešavati jedan po jedan parametar.

# IZBJEGAVAJ — previše nasumičnosti
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# ISPRAVNO — podešavaj jedan po jedan parametar
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Ključne točke

  • Kazna za prisutnost: fiksna kazna jednom kada se token vidi – širi vokabular
  • Kazna za učestalost: kumulativna kazna proporcionalna učestalosti – suzbija petlje
  • Obje se kreću od -2.0 do 2.0, zadana vrijednost je 0.0
  • U produkciji se za većinu slučajeva drži raspona od 0.0 do 1.0
  • Ne kombiniraj visoke vrijednosti s visokom temperaturom
  • Onemogući kazne za ekstrakciju i klasifikaciju (gdje je ponavljanje prihvatljivo)