Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Penalizácie za prítomnosť a frekvenciu

Lekcia 14 z 16 Aktualizované 2. novembra 2026 Vývojár
Na tejto strane
  1. Boj proti opakovaniu
  2. Penalizácia za prítomnosť: Fixná pokuta
  3. Penalizácia za frekvenciu: Kumulatívna pokuta
  4. Konfigurácie podľa zámeru
  5. Diagnóza pred ladením
  6. Dva spôsoby, ako všetko pokaziť
  7. Kľúčové poznatky

Boj proti opakovaniu

Jazykové modely majú prirodzenú tendenciu opakovať sa. Prejavuje sa to tromi rozpoznateľnými spôsobmi: rovnaké slovo sa opakuje v odseku, identické štruktúry viet sa opakujú riadok po riadku alebo sa celé odseky prepisujú bez pridania nových informácií. Teplota tento problém nevyrieši – zvýšenie globálnej náhodnosti zhoršuje súvislosť textu bez záruky lexikálnej rozmanitosti. Parametre presence_penalty a frequency_penalty ponúkajú oveľa jemnejšiu kontrolu, ak pochopíš, čo ich odlišuje.

Penalizácia za prítomnosť: Fixná pokuta

Penalizácia za prítomnosť (presence penalty) ukladá jedinú, fixnú pokutu každému tokenu, ktorý sa vo vygenerovanej odpovedi objavil aspoň raz. Nezáleží na tom, či bol token použitý raz alebo pätnásťkrát – pokuta zostáva rovnaká. Efektom je povzbudiť model, aby čerpal zo slov, ktoré ešte nepoužil, čím sa rozširuje slovník odpovede. Požiadaj o desať prídavných mien opisujúcich more a okamžite uvidíš rozdiel – bez penalizácie sa variácie zvyčajne točia okolo troch alebo štyroch sémantických okruhov.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Žiadna penalizácia — model sa môže opakovať
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# S penalizáciou za prítomnosť — podporuje rozmanitosť slovníka
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parameter prijíma hodnoty od -2,0 do 2,0, pričom predvolená hodnota je 0,0. Kladná hodnota penalizuje už videné tokeny, a tým vytvára väčšiu rozmanitosť; záporná hodnota robí opak a uprednostňuje opakovanie, čo je užitočné len vo veľmi špecifických prípadoch, ako je generovanie refrénov alebo opakovaných formulácií. V produkčnom prostredí sa drž rozsahu 0,0 až 1,5.

Penalizácia za frekvenciu: Kumulatívna pokuta

Penalizácia za frekvenciu (frequency penalty) funguje inak: pokuta je kumulatívna a rastie s počtom výskytov tokenu. Čím viac sa slovo opakuje, tým menej pravdepodobné je pri ďalšom výskyte. Kým penalizácia za prítomnosť otvára slovník, táto postupne spomaľuje slová, ktoré sa vracajú príliš často, čo ju robí obzvlášť účinnou proti slučkám v dlhých textoch.

# Žiadna penalizácia za frekvenciu
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# S penalizáciou za frekvenciu — znižuje veľmi časté tokeny
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Rovnako ako predchádzajúci parameter, aj tento sa pohybuje v rozsahu od -2,0 do 2,0 s predvolenou hodnotou 0,0, pričom kladná hodnota čoraz viac penalizuje časté tokeny. Jeho užitočný rozsah v produkčnom prostredí je však užší: 0,0 až 1,0, pretože jeho kumulatívna povaha ho robí pri rovnakých hodnotách agresívnejším.

Nasledujúca tabuľka sumarizuje rozdiely medzi nimi.

FunkciaPenalizácia za prítomnosťPenalizácia za frekvenciu
SpúšťačPri 1. výskytePri každom výskyte
RastFixný (rovnaká pokuta)Kumulatívny (narastá)
EfektRozmanitosť slovníkaZnižuje opakovania
Najlepšie prePreskúmavanie nových témVyhýbanie sa slučkám slov

Konfigurácie podľa zámeru

V praxi ladenie týchto dvoch parametrov prebieha spolu s teplotou v závislosti od toho, čo tvoja aplikácia produkuje. Chatbot potrebuje miernu rozmanitosť a žiadne opakovania, nič viac. Kreatívne písanie posúva penalizáciu za prítomnosť smerom nahor, aby obohatilo slovník, pričom penalizáciu za frekvenciu udržiava miernu. Extrakcia dát naopak obe vypína: opakovanie je tu legitímne a rovnaký názov poľa sa môže objaviť aj desaťkrát. Zhrnutie sa nachádza niekde medzi, s dostatočnou penalizáciou na to, aby sa predišlo kopírovaniu zdrojového textu.

# Chatbot — mierna rozmanitosť, žiadne opakovania
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Kreatívne písanie — bohatý slovník, žiadne slučky
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Extrakcia dát — žiadne penalizácie (presná odpoveď)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Zhrnutie — určitá rozmanitosť na vyhnutie sa kopírovaniu
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnóza pred ladením

Ladenie týchto parametrov „podľa ucha“ rýchlo vedie k ľubovoľným úpravám. Namiesto toho meraj. Funkcia nižšie vypočíta pomer rozmanitosti – počet unikátnych slov ku celkovému počtu slov – a izoluje slová dlhšie ako tri písmená, ktoré sa objavujú viac ako dvakrát, čím odfiltruje členy a predložky, ktorých opakovanie je normálne. Spusti ju na rovnakom prompte s tromi hodnotami frequency_penalty a uvidíš, ako pomer stúpa a potom sa ustáli: tento bod ustálenia označuje hodnotu, nad ktorou už nezískaš nič viac.

def analyze_repetition(text: str) -> dict:
    """Analyzuje mieru opakovania vygenerovaného textu."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Počítanie slov, ktoré sa objavujú viac ako 2-krát
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Test s penalizáciami a bez nich
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Dva spôsoby, ako všetko pokaziť

Prvým je zájsť príliš vysoko. Nad hodnotou 1,5 sa model vyhýba bežným slovám natoľko, že ich nahrádza nevhodnými alternatívami: text sa stáva nesúvislým a plným zle použitých zriedkavých termínov. Vo vysvetlení Pytagorovej vety penalizácie na úrovni 2,0 zabránia modelu opakovať slová „strana“ a „trojuholník“ – presne tie slová, ktoré dôkaz potrebuje.

# ZLE — príliš silná penalizácia
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Výsledok: nesúvislý text, zle použité zriedkavé slová

Druhým je kombinovanie vysokých penalizácií s vysokou teplotou. Každý mechanizmus pridáva svoju dávku náhodnosti do toho istého výberového procesu a ich superpozícia vytvára takmer náhodný text. Rovnako ako pri temperature a top_p, disciplína spočíva v úprave jedného parametra naraz.

# VYHNI SA — príliš veľa náhodnosti
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# SPRÁVNE — upravuj jeden parameter naraz
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Kľúčové poznatky

  • Penalizácia za prítomnosť: fixná pokuta po prvom výskyte tokenu – rozširuje slovník
  • Penalizácia za frekvenciu: kumulatívna pokuta úmerná frekvencii – bojuje proti slučkám
  • Obe sa pohybujú v rozsahu od -2,0 do 2,0, predvolená hodnota je 0,0
  • Vo väčšine prípadov sa v produkčnom prostredí drž rozsahu 0,0 až 1,0
  • Nekombinuj vysoké hodnoty s vysokou teplotou
  • Vypni penalizácie pri extrakcii a klasifikácii (kde je opakovanie prijateľné)