Премини към основното съдържание
Български— Изберете език
Меню

Наказания за присъствие и честота

Урок 14 от 16 Обновен 2 ноември 2026 г. Програмист
На тази страница
  1. Борба с повторенията
  2. Наказание за присъствие: Фиксирано наказание
  3. Наказание за честота: Кумулативно наказание
  4. Конфигурации според целта
  5. Диагностицирайте, преди да настройвате
  6. Два начина да съсипете всичко
  7. Ключови изводи

Борба с повторенията

Езиковите модели имат естествена склонност да се повтарят. Това се проявява по три разпознаваеми начина: една и съща дума се върти в рамките на абзац, идентични синтактични конструкции се редуват ред след ред или цели абзаци се преразказват, без да добавят нова информация. Температурата не решава този проблем – увеличаването на глобалната случайност влошава свързаността на текста, без да гарантира лексикално разнообразие. Параметрите presence_penalty и frequency_penalty предлагат много по-фин контрол, стига да разбирате разликата между тях.

Наказание за присъствие: Фиксирано наказание

Наказанието за присъствие (presence_penalty) прилага единично, фиксирано наказание към всеки токен, който се е появил поне веднъж в генерирания отговор. Няма значение дали токенът е използван веднъж или петнадесет пъти – наказанието остава същото. Ефектът е да насърчи модела да черпи от думи, които все още не е използвал, което разширява речника на отговора. Поискайте десет прилагателни за описание на морето и веднага ще видите разликата – без наказание вариациите обикновено се въртят около три или четири семантични полета.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Без наказание — моделът може да се повтаря
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# С наказание за присъствие — насърчава лексикалното разнообразие
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Параметърът приема стойности от -2.0 до 2.0, като 0.0 е стойността по подразбиране. Положителна стойност наказва вече видените токени и следователно произвежда по-голямо разнообразие; отрицателна стойност прави обратното и благоприятства повторенията, което е полезно само в много специфични случаи, като генериране на припеви или повторяеми формули. В производствена среда се придържайте към диапазона 0.0 до 1.5.

Наказание за честота: Кумулативно наказание

Наказанието за честота (frequency_penalty) работи различно: наказанието е кумулативно и нараства с броя на появяванията на токена. Колкото повече се повтаря една дума, толкова по-малко вероятно е тя да бъде избрана при следващото си появяване. Докато наказанието за присъствие разширява речника, това постепенно забавя думите, които се връщат твърде често, което го прави особено ефективно срещу циклични повторения в дълги текстове.

# Без наказание за честота
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# С наказание за честота — намалява много честите токени
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Подобно на предишния, диапазонът му е от -2.0 до 2.0 със стойност по подразбиране 0.0, като положителната стойност все повече наказва честите токени. Полезният му диапазон в производствена среда обаче е по-тесен: 0.0 до 1.0, тъй като кумулативният му характер го прави по-агресивен при равни стойности.

Следващата таблица обобщава разликите между тях.

ХарактеристикаНаказание за присъствиеНаказание за честота
АктивиранеПри 1-во появяванеПри всяко появяване
РастежФиксиран (същото наказание)Кумулативен (нараства)
ЕфектЛексикално разнообразиеНамалява повторенията
Най-подходящо заИзследване на нови темиИзбягване на циклични повторения на думи

Конфигурации според целта

На практика Вие настройвате тези два параметра заедно с температурата, в зависимост от това какво произвежда Вашето приложение. Чатботът се нуждае от леко разнообразие и липса на повторения, нищо повече. Творческото писане изисква високо наказание за присъствие, за да обогати речника, докато наказанието за честота се поддържа умерено. Извличането на данни, от друга страна, изключва и двете: там повторението е легитимно и името на едно и също поле може да се наложи да се появи десет пъти. Обобщаването е междинен случай, с достатъчно наказание, за да се избегне копирането на изходния текст.

# Чатбот — леко разнообразие, без повторения
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Творческо писане — богат речник, без цикли
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Извличане на данни — без наказания (точен отговор)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Обобщение — известно разнообразие, за да се избегне копиране
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Диагностицирайте, преди да настройвате

Настройването на тези параметри „на ухо“ бързо води до произволни корекции. Вместо това измервайте. Функцията по-долу изчислява коефициент на разнообразие – уникални думи спрямо общия брой думи – и изолира думи с дължина над три букви, които се появяват повече от два пъти, което филтрира членовете и предлозите, чието повторение е нормално. Стартирайте я със същата подкана за три различни стойности на frequency_penalty и ще видите как коефициентът расте, след което се изравнява: това изравняване маркира стойността, отвъд която няма да постигнете нищо повече.

def analyze_repetition(text: str) -> dict:
    """Анализира степента на повторение в генерирания текст."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Брой думи, които се появяват повече от 2 пъти
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Тест с и без наказания
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Два начина да съсипете всичко

Първият е да прекалите със стойностите. Над 1.5 моделът избягва обикновените думи до такава степен, че ги замества с неподходящи алтернативи: текстът става несвързан, осеян с неправилно използвани редки термини. В обяснение на питагоровата теорема наказания със стойност 2.0 ще попречат на модела да повтори думите „страна“ и „триъгълник“ – точно думите, от които доказателството се нуждае.

# ЛОШО — твърде силно наказание
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Резултат: несвързан текст, неправилно използвани редки думи

Вторият начин е комбинирането на високи наказания с висока температура. Всеки механизъм добавя своя дял случайност в един и същи процес на селекция и тяхното наслагване произвежда почти случаен текст. Както при temperature и top_p, дисциплината изисква да настройвате един параметър по един.

# ИЗБЯГВАЙТЕ — твърде много случайност
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# ПРАВИЛНО — настройвайте един параметър по един
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Ключови изводи

  • Наказание за присъствие: фиксирано наказание, след като токенът е видян – разширява речника
  • Наказание за честота: кумулативно наказание, пропорционално на честотата – бори се с цикличните повторения
  • И двете варират от -2.0 до 2.0, със стойност по подразбиране 0.0
  • В производствена среда за повечето случаи се придържайте към диапазона 0.0 до 1.0
  • Не комбинирайте високи стойности с висока температура
  • Изключете наказанията при извличане и класификация (където повторението е допустимо)