Przejdź do głównej treści
Polski— Wybierz język
Menu

Kary za obecność i częstotliwość

Lekcja 14 z 16 Zaktualizowano 2 listopada 2026 Programista
Na tej stronie
  1. Walka z powtórzeniami
  2. Kara za obecność: Kara stała
  3. Kara za częstotliwość: Kara kumulatywna
  4. Konfiguracje w zależności od celu
  5. Diagnozuj przed dostrajaniem
  6. Dwa sposoby na zepsucie wszystkiego
  7. Kluczowe wnioski

Walka z powtórzeniami

Modele językowe mają naturalną tendencję do powtarzania się. Przejawia się to na trzy rozpoznawalne sposoby: ten sam wyraz krąży w akapicie, identyczne struktury zdań powtarzają się linijka po linijce lub całe akapity są parafrazowane bez wniesienia nowych informacji. Temperatura tego nie naprawi – zwiększanie globalnego losowości pogarsza spójność, nie gwarantując zróżnicowania słownictwa. Parametry presence_penalty i frequency_penalty oferują znacznie precyzyjniejszą kontrolę, pod warunkiem że rozumiesz, czym się różnią.

Kara za obecność: Kara stała

Kara za obecność (presence_penalty) nakłada pojedynczą, stałą karę na każdy token, który pojawił się przynajmniej raz w wygenerowanej odpowiedzi. Nie ma znaczenia, czy token został użyty raz, czy piętnaście razy – kara pozostaje taka sama. Efektem jest zachęcenie modelu do czerpania ze słów, których jeszcze nie użył, co poszerza słownictwo odpowiedzi. Poproś o dziesięć przymiotników opisujących morze, a natychmiast zobaczysz różnicę – bez kary warianty mają tendencję do krążenia wokół trzech lub czterech pól semantycznych.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Brak kary — model może się powtarzać
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Z karą za obecność — zachęca do różnorodności słownictwa
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parametr przyjmuje wartości od -2.0 do 2.0, przy czym wartością domyślną jest 0.0. Wartość dodatnia karze tokeny już widziane, co generuje większą różnorodność; wartość ujemna działa odwrotnie i sprzyja powtórzeniom, co przydaje się tylko w bardzo specyficznych przypadkach, takich jak generowanie refrenów lub powtarzających się formuł. W środowisku produkcyjnym pozostań w zakresie 0.0 do 1.5.

Kara za częstotliwość: Kara kumulatywna

Kara za częstotliwość (frequency_penalty) działa inaczej: kara jest kumulatywna i rośnie wraz z liczbą wystąpień tokena. Im częściej słowo jest powtarzane, tym mniej prawdopodobne staje się przy kolejnym wystąpieniu. Podczas gdy kara za obecność otwiera słownictwo, ta stopniowo hamuje słowa, które wracają zbyt często, co czyni ją szczególnie skuteczną przeciwko pętlom w długich tekstach.

# Brak kary za częstotliwość
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Z karą za częstotliwość — redukuje bardzo częste tokeny
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Podobnie jak poprzedni, zakres wynosi od -2.0 do 2.0 z wartością domyślną 0.0, przy czym wartość dodatnia coraz silniej karze częste tokeny. Jednak jej użyteczny zakres w produkcji jest węższy: 0.0 do 1.0, ponieważ jej kumulatywny charakter czyni ją bardziej agresywną przy tych samych wartościach.

Poniższa tabela podsumowuje różnice między nimi.

CechaKara za obecnośćKara za częstotliwość
WyzwalaczPrzy 1. wystąpieniuPrzy każdym wystąpieniu
WzrostStały (ta sama kara)Kumulatywny (rośnie)
EfektRóżnorodność słownictwaRedukcja powtórzeń
Najlepsze zastosowanieEksploracja nowych tematówUnikanie pętli wyrazowych

Konfiguracje w zależności od celu

W praktyce dostrajasz te dwa parametry wraz z temperaturą, w zależności od tego, co produkuje Twoja aplikacja. Chatbot potrzebuje lekkiej różnorodności i braku powtórzeń, niczego więcej. Pisanie kreatywne podnosi karę za obecność, aby wzbogacić słownictwo, utrzymując jednocześnie umiarkowaną karę za częstotliwość. Ekstrakcja danych z kolei wyłącza obie: powtórzenia są tam uzasadnione, a ta sama nazwa pola może potrzebować pojawić się dziesięć razy. Streszczanie plasuje się pośrodku, z wystarczającą karą, aby uniknąć kopiowania i wklejania tekstu źródłowego.

# Chatbot — lekka różnorodność, brak powtórzeń
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Pisanie kreatywne — bogate słownictwo, brak pętli
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Ekstrakcja danych — brak kar (dokładna odpowiedź)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Streszczenie — pewna różnorodność, aby uniknąć kopiowania
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnozuj przed dostrajaniem

Dostrajanie tych parametrów „na słuch“ szybko prowadzi do arbitralnych poprawek. Zamiast tego mierz. Poniższa funkcja oblicza wskaźnik różnorodności – unikalne słowa podzielone przez całkowitą liczbę słów – i izoluje słowa dłuższe niż trzy litery, które pojawiają się więcej niż dwa razy, co filtruje artykuły i przyimki, których powtarzanie jest normalne. Uruchom ją dla tego samego promptu z trzema wartościami frequency_penalty, a zobaczysz, jak wskaźnik rośnie, a następnie wychodzi na плато: to плато oznacza wartość, powyżej której nie zyskujesz już nic więcej.

def analyze_repetition(text: str) -> dict:
    """Analizuje wskaźnik powtórzeń w wygenerowanym tekście."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Licz słowa, które pojawiają się więcej niż 2 razy
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Test z karą i bez kary
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Dwa sposoby na zepsucie wszystkiego

Pierwszy to przesadzenie z wartościami. Powyżej 1.5 model unika powszechnych słów tak bardzo, że zastępuje je nieodpowiednimi alternatywami: tekst staje się niespójny, pełen błędnie użytych rzadkich terminów. W wyjaśnieniu twierdzenia Pitagorasa kary na poziomie 2.0 uniemożliwiają modelowi powtórzenie słów „bok“ i „trójkąt“ – a precisely tych słów dowód potrzebuje.

# ŹLE — kara zbyt silna
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Wynik: niespójny tekst, błędnie użyte rzadkie słowa

Drugi to łączenie wysokich kar z wysoką temperaturą. Każdy mechanizm dodaje swoją porcję losowości do tego samego procesu selekcji, a ich nałożenie produkuje tekst niemal losowy. Podobnie jak w przypadku temperature i top_p, zasadą jest dostrajanie jednego parametru na raz.

# UNIKAJ — zbyt dużo losowości
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# POPRAWNIE — dostrajaj jeden parametr na raz
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Kluczowe wnioski

  • Kara za obecność: stała kara po zobaczeniu tokena – poszerza słownictwo
  • Kara za częstotliwość: kara kumulatywna proporcjonalna do częstotliwości – zwalcza pętle
  • Obie mieszczą się w zakresie od -2.0 do 2.0, domyślnie 0.0
  • W większości przypadków w produkcji pozostań w zakresie od 0.0 do 1.0
  • Nie łącz wysokich wartości z wysoką temperaturą
  • Wyłącz kary przy ekstrakcji i klasyfikacji (gdzie powtórzenia są akceptowalne)