Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Penalizace za přítomnost a frekvenci

Lekce 14 z 16 Aktualizováno 2. listopadu 2026 Vývojář
Na této stránce
  1. Boj proti opakování
  2. Penalizace za přítomnost: Pevná sankce
  3. Penalizace za frekvenci: Kumulativní sankce
  4. Konfigurace podle záměru
  5. Než začneš ladit, diagnostikuj
  6. Dva způsoby, jak vše pokazit
  7. Klíčové poznatky

Boj proti opakování

Jazykové modely mají přirozenou tendenci se opakovat. Projevuje se to třemi rozpoznatelnými způsoby: stejné slovo se v odstavci neustále opakuje, identické větné struktury se line po line opakují nebo se celé odstavce přeformulovávají, aniž by přidaly nové informace. Teplota toto neřeší – zvýšení globální náhodnosti snižuje soudržnost textu, aniž by zaručilo lexikální rozmanitost. Parametry presence_penalty a frequency_penalty nabízejí mnohem jemnější kontrolu, pokud pochopíš, čím se liší.

Penalizace za přítomnost: Pevná sankce

Penalizace za přítomnost (presence_penalty) uvaluje jedinou, pevnou sankci na každý token, který se ve vygenerované odpovědi objevil alespoň jednou. Nezáleží na tom, zda byl token použit jednou nebo patnáctkrát – sankce zůstává stejná. Efektem je povzbudit model, aby čerpal ze slov, která ještě nepoužil, čímž se rozšiřuje slovní zásoba odpovědi. Požádej o deset přídavných jmen popisujících moře a okamžitě uvidíš rozdíl – bez penalizace se variace mají tendenci točit kolem tří či čtyř sémantických okruhů.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Žádná penalizace — model se může opakovat
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# S penalizací za přítomnost — podporuje rozmanitost slovní zásoby
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parametr přijímá hodnoty od -2.0 do 2.0, přičemž výchozí hodnota je 0.0. Kladná hodnota penalizuje již viděné tokeny, a vytváří tak větší rozmanitost; záporná hodnota dělá pravý opak a upřednostňuje opakování, což je užitečné pouze ve velmi specifických případech, jako je generování refrénů nebo opakovaných formulí. V produkčním prostředí se drž v rozmezí 0.0 až 1.5.

Penalizace za frekvenci: Kumulativní sankce

Penalizace za frekvenci (frequency_penalty) funguje jinak: sankce je kumulativní a roste s počtem výskytů tokenu. Čím více se slovo opakuje, tím méně pravděpodobný je jeho další výskyt. Zatímco penalizace za přítomnost otevírá slovní zásobu, tato postupně brzdí slova, která se vracejí příliš často, což je obzvláště účinné proti smyčkám v dlouhých textech.

# Žádná penalizace za frekvenci
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# S penalizací za frekvenci — snižuje výskyt velmi častých tokenů
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Stejně jako předchozí parametr se pohybuje v rozmezí od -2.0 do 2.0 s výchozí hodnotou 0.0, přičemž kladná hodnota stále více penalizuje časté tokeny. Jeho užitečné rozmezí v produkci je však užší: 0.0 až 1.0, protože jeho kumulativní povaha ho činí při stejných hodnotách agresivnějším.

Následující tabulka shrnuje rozdíly mezi nimi.

VlastnostPenalizace za přítomnostPenalizace za frekvenci
SpouštěčPři 1. výskytuPři každém výskytu
RůstPevný (stejná sankce)Kumulativní (narůstá)
EfektRozmanitost slovní zásobySnižuje opakování
Nejvhodnější proProzkoumávání nových tématVyhnutí se smyčkám slov

Konfigurace podle záměru

V praxi ladíš tyto dva parametry společně s teplotou v závislosti na tom, co tvoje aplikace produkuje. Chatbot potřebuje mírnou rozmanitost a žádné opakování, nic víc. Tvůrčí psaní posouvá penalizaci za přítomnost, aby obohatilo slovní zásobu, zatímco udržuje penalizaci za frekvenci střední. Extrakce dat naopak obě vypíná: opakování je zde legitimní a stejný název pole se může objevit desetkrát. Shrnutí stojí někde uprostřed, s dostatečnou penalizací, aby se předešlo kopírování zdrojového textu.

# Chatbot — mírná rozmanitost, žádné opakování
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Tvůrčí psaní — bohatá slovní zásoba, žádné smyčky
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Extrakce dat — žádné penalizace (přesná odpověď)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Shrnutí — určitá rozmanitost pro vyhnutí se kopírování
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Než začneš ladit, diagnostikuj

Ladění těchto parametrů „podle sluchu“ rychle vede k libovolným úpravám. Místo toho měř. Níže uvedená funkce vypočítá poměr rozmanitosti – jedinečná slova ku celkovému počtu slov – a izoluje slova delší než tři písmena, která se objevují více než dvakrát, čímž odfiltruje členy a předložky, jejichž opakování je normální. Spusť ji na stejný prompt se třemi hodnotami frequency_penalty a uvidíš, jak poměr roste a poté se ustálí: toto ustálení označuje hodnotu, nad kterou již nezískáš nic dalšího.

def analyze_repetition(text: str) -> dict:
    """Analyzuje míru opakování vygenerovaného textu."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Počítá slova, která se objeví více než 2krát
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Test s penalizací a bez ní
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Dva způsoby, jak vše pokazit

Prvním je zajít příliš vysoko. Nad hodnotou 1,5 se model vyhýbá běžným slovům natolik, že je nahrazuje nevhodnými alternativami: text se stává nesourodým a plným špatně použitých vzácných termínů. Ve vysvětlení Pythagorovy věty penalizace na úrovni 2,0 zabrání modelu opakovat slova „strana“ a „trojúhelník“ – tedy přesně ta slova, která důkaz potřebuje.

# ŠPATNĚ — příliš silná penalizace
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Výsledek: nesourodý text, špatně použitá vzácná slova

Druhým je kombinace vysokých penalizací s vysokou teplotou. Každý mechanismus přidává svou dávku náhodnosti do stejného výběrového procesu a jejich superpozice vytváří téměř náhodný text. Stejně jako u temperature a top_p je disciplínou upravovat vždy jen jeden parametr najednou.

# VYHNOUT SE — příliš mnoho náhodnosti
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# SPRÁVNĚ — upravuj jeden parametr najednou
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Klíčové poznatky

  • Penalizace za přítomnost: pevná sankce po prvním výskytu tokenu – rozšiřuje slovní zásobu
  • Penalizace za frekvenci: kumulativní sankce úměrná frekvenci – bojuje proti smyčkám
  • Obě se pohybují v rozmezí -2.0 až 2.0, výchozí hodnota je 0.0
  • Ve většině případů se v produkci drž rozmezí 0.0 až 1.0
  • Nekombinuj vysoké hodnoty s vysokou teplotou
  • Pro extrakci a klasifikaci penalizace vypni (kde je opakování přijatelné)