Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Nuobaudos už buvimą ir dažnumą

Paskaita 14 iš 16 Atnaujinta 2026 m. lapkričio 2 d. Kūrėjas
Šiame puslapyje
  1. Kovojant su pasikartojimais
  2. Nuobauda už buvimą: fiksuota nuobauda
  3. Nuobauda už dažnumą: kaupiamoji nuobauda
  4. Konfigūracijos pagal tikslą
  5. Diagnostika prieš derinimą
  6. Du būdai viską sugadinti
  7. Svarbiausi punktai

Kovojant su pasikartojimais

Kalbos modeliai linkę kartotis. Tai pasireiškia trimis aiškiais būdais: tas pats žodis sukasi ratu pastraipoje, vienodos sakinio struktūros kartojasi eilutė po eilutės arba целые pastraipos perfrazuojamos nepridedant naujos informacijos. Temperatūra šios problemos neišsprendžia – didinant bendrą atsitiktinumą, nuoseklumas prastėja, o leksinė įvairovė negarantuojama. Parametrai presence_penalty ir frequency_penalty suteikia daug tikslesnę kontrolę, jei tik supranti jų skirtumus.

Nuobauda už buvimą: fiksuota nuobauda

Nuobauda už buvimą (presence penalty) taiko vieną, fiksuotą nuobaudą kiekvienam žetonui (token), kuris generuojamame atsakyme pasirodė bent vieną kartą. Nesvarbu, ar žetonas panaudotas vieną, ar penkiolika kartų – nuobauda lieka tokia pati. Tai skatina modelį naudoti dar nenaudotus žodžius, taip praplečiant atsakymo žodyną. Paprašyk sugeneruoti dešimt būdvardžių jūrai apibūdinti ir skirtumą pamatysi iškart: be nuobaudos variantai dažniausiai sukasi apie tris ar keturias semantines sritis.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Be nuobaudos — modelis gali kartotis
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Su nuobauda už buvimą — skatina žodyno įvairovę
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parametras priima reikšmes nuo -2.0 iki 2.0, o numatytoji reikšmė yra 0.0. Teigiama reikšmė baudžia jau matytus žetonus ir taip didina įvairovę; neigiama reikšmė daro priešingai ir skatina pasikartojimus, kas naudinga tik labai specifiniais atvejais, pavyzdžiui, kuriant priedainius ar kartojamas formules. Produkcinėje aplinkoje laikykis ribos nuo 0.0 iki 1.5.

Nuobauda už dažnumą: kaupiamoji nuobauda

Nuobauda už dažnumą (frequency penalty) veikia kitaip: nuobauda yra kaupiamoji ir didėja kartu su žetono pasikartojimų skaičiumi. Kuo dažniau kartojamas žodis, tuo mažiau tikėtina, kad jis bus pasirinktas kitą kartą. Jei nuobauda už buvimą praplečia žodyną, tai ši nuobauda palaipsniui stabdo per dažnai grįžtančius žodžius, todėl ji ypač efektyvi kovojant su ciklais ilguose tekstuose.

# Be nuobaudos už dažnumą
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Su nuobauda už dažnumą — sumažina labai dažnus žetonus
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Kaip ir ankstesnis parametras, jo reikšmės svyruoja nuo -2.0 iki 2.0, o numatytoji reikšmė – 0.0. Teigiama reikšmė vis labiau baudžia dažnus žetonus. Tačiau naudingas diapazonas produkcijoje yra siauresnis: 0.0–1.0, nes dėl kaupiamojo pobūdžio esant toms pačioms reikšmėms jis veikia agresyviau.

Šioje lentelėje apibendrinti jų skirtumai.

SavybėNuobauda už buvimąNuobauda už dažnumą
SuaktyvinimasPirmą kartą pasirodžiusKiekvieną kartą pasirodžius
AugimasFiksuotas (tokia pati nuobauda)Kaupiamasis (didėja)
PoveikisŽodyno įvairovėMažina pasikartojimus
Geriausia naudotiNaujoms temoms naršytiŽodžių ciklams išvengti

Konfigūracijos pagal tikslą

Praktiškai šiuos du parametrus derini su temperatūra, priklausomai nuo to, ką kuria tavo programa. Pokalbių robotui reikia nedidelės įvairovės ir jokių pasikartojimų – nieko daugiau. Kūrybiniam rašymui nuobauda už buvimą didinama žodynui praturtinti, o nuobauda už dažnumą paliekama vidutinė. Duomenų gavybai, priešingai, abi nuobaudos išjungiamos: ten pasikartojimai yra teisėti, ir tas pats lauko pavadinimas gali tekti dešimt kartų. Apibendrinimas yra tarpinė grandis – užtenka tokios nuobaudos, kad būtų išvengta tiesioginio šaltinio teksto kopijavimo.

# Pokalbių robotas — nedidelė įvairovė, jokių pasikartojimų
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Kūrybinis rašymas — turtingas žodynas, jokių ciklų
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Duomenų gavyba — jokių nuobaudų (tikslus atsakymas)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Santrauka — šiek tiek įvairovės, kad išvengtum kopijavimo
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnostika prieš derinimą

Šių parametrų derinimas „pagal ausį“ greitai veda prie savavališkų koregavimų. Geriau matuok. Toliau pateikta funkcija apskaičiuoja įvairovės santykį – unikalių žodžių skaičių padalijus iš bendro žodžių skaičiaus – ir išskiria žodžius, ilgesnius nei trys raidės, kurie pasikartoja daugiau nei du kartus. Tai atfiltruoja artikelius ir prielinksnius, kurių pasikartojimas yra normalus. Paleisk ją su tuo pačiu užklausos tekstu naudodamas tris skirtingas frequency_penalty reikšmes ir pamatysi, kaip santykis kyla, o tada sustoja ties riba: ši riba žymi reikšmę, virš kurios papildomos naudos nebegausi.

def analyze_repetition(text: str) -> dict:
    """Analizuoja sugeneruoto teksto pasikartojimų lygį."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Suskaičiuoja žodžius, pasikartojančius daugiau nei 2 kartus
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Testavimas su nuobaudomis ir be jų
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Du būdai viską sugadinti

Pirmasis – per didelės reikšmės. Viršijus 1.5, modelis vengia įprastų žodžių taip stipriai, kad juos pakeičia netinkamais alternatyvomis: tekstas tampa nenuoseklus, pilnas neteisingai vartojamų retų terminų. Aiškinant Pitagoro teoremą, 2.0 nuobaudos neleidžia modeliui kartoti žodžių „kraštinė“ ir „trikampis“ – būtent tų žodžių įrodymui ir reikia.

# BLOGAI — nuobauda per stipri
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Rezultatas: nenuoseklus tekstas, neteisingai vartojami reti žodžiai

Antrasis – didelių nuobaudų derinimas su didele temperatūra. Kiekvienas mechanizmas į tą patį atrankos procesą įneša savo atsitiktinumo dalį, o jų叠加imas sukuria beveik atsitiktinį tekstą. Kaip ir naudojant temperature bei top_p, disciplina reikalauja koreguoti vieną parametrą vienu metu.

# VENGTI — per daug atsitiktinumo
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# TEISINGAI — koreguok vieną parametrą vienu metu
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Svarbiausi punktai

  • Nuobauda už buvimą: fiksuota nuobauda, kai žetonas pamatytas – praplečia žodyną
  • Nuobauda už dažnumą: kaupiamoji nuobauda, proporcinga dažnumui – kovoja su ciklais
  • Abiejų reikšmės svyruoja nuo -2.0 iki 2.0, numatytoji – 0.0
  • Daugeliu atvejų produkcijoje laikykis 0.0–1.0 ribų
  • Nederink didelių reikšmių su didele temperatūra
  • Išjunk nuobaudas gavybai ir klasifikacijai (ten pasikartojimai yra priimtini)