Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Soda naudas un biežuma sodi

Nodarbība 14 no 16 Atjaunota 2026. gada 2. novembris Programmētājs
Šajā lapā
  1. Atkārtošanās apkarošana
  2. Soda nauda par klātbūtni: fiksēts sods
  3. Soda nauda par biežumu: kumulatīvs sods
  4. Konfigurācijas atkarībā no nolūka
  5. Diagnosticē pirms pielāgošanas
  6. Divi veidi, kā visu sabojāt
  7. Galvenās atziņas

Atkārtošanās apkarošana

Valodu modeļiem ir dabiska tieksme atkārtoties. Tas izpaužas trīs atpazīstamos veidos: tas pats vārds atkārtojas visā rindkopā, identiskas teikumu struktūras atkārtojas rindiņu pēc rindiņas vai veselas rindkopas tiek pārrakstītas, nepievienojot jaunu informāciju. Temperatūra to neatrisina – globālas nejaušības palielināšana pasliktina sakarīgumu, negarantējot leksisku daudzveidību. Parametri presence_penalty un frequency_penalty nodrošina daudz precīzāku kontroli, ja vien saproti, kas tos atšķir.

Soda nauda par klātbūtni: fiksēts sods

Soda nauda par klātbūtni (presence penalty) piemēro vienu, fiksētu sodu katram tokenam, kas ģenerētajā atbildē parādījies vismaz vienu reizi. Nav svarīgi, vai tokens lietots vienu vai piecpadsmit reizes – sods paliek nemainīgs. Efekts ir tāds, ka models tiek mudināts izmantot vārdus, kurus tas vēl nav lietojis, tādējādi paplašinot atbildes vārdu krājumu. Palūdz desmit īpašvārdus jūras aprakstam, un tu uzreiz redzēsi atšķirību – bez soda variācijas mēdz riņķot ap trim vai četriem semantiskajiem laukiem.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Bez soda — models var atkārtoties
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Ar soda naudu par klātbūtni — veicina vārdu krājuma daudzveidību
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Parametrs pieņem vērtības no -2.0 līdz 2.0, kur 0.0 ir noklusējums. Pozitīva vērtība soda jau redzētos tokenus, tādējādi radot lielāku daudzveidību; negatīva vērtība dara pretējo un veicina atkārtošanos, kas noder tikai ļoti specifiskos gadījumos, piemēram, ģenerējot piedziedājumus vai atkārtotas formulas. Darbvidē paliec robežās no 0.0 līdz 1.5.

Soda nauda par biežumu: kumulatīvs sods

Soda nauda par biežumu (frequency penalty) darbojas citādāk: sods ir kumulatīvs un pieaug līdz ar tokena atkārtojumu skaitu. Jo biežāk vārds tiek atkārtots, jo mazāk ticams tas kļūst nākamajā reizē. Kamēr soda nauda par klātbūtni paplašina vārdu krājumu, šis pakāpeniski bremžē vārdus, kas atgriežas pārāk bieži, padarot to īpaši efektīvu pret cilpām garos tekstos.

# Bez soda naudas par biežumu
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Ar soda naudu par biežumu — samazina ļoti biežus tokenus
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Tāpat kā iepriekšējais, tas svārstās no -2.0 līdz 2.0 ar 0.0 kā noklusējumu, kur pozitīva vērtība arvien vairāk soda biežus tokenus. Tomēr tā lietderīgais diapazons darbvidē ir šaurāks: 0.0 līdz 1.0, jo tā kumulatīvā daba padara to agresīvāku pie vienādām vērtībām.

Zemāk esošā tabula apkopo to atšķirības.

IezīmeSoda nauda par klātbūtniSoda nauda par biežumu
IerosinātājsPie 1. parādīšanās reizesPie katras parādīšanās reizes
PieaugumsFiksēts (vienāds sods)Kumulatīvs (pieaug)
EfektsVārdu krājuma daudzveidībaSamazina atkārtojumus
VislabākaisJaunu tēmu izpēteiVārdu cilpu novēršanai

Konfigurācijas atkarībā no nolūka

Praksē tu pielāgo šos divus parametrus kopā ar temperatūru atkarībā no tā, ko tava lietotne ģenerē. Tērzēšanas robotam ir nepieciešama neliela daudzveidība un nekādu atkārtojumu, nekas vairāk. Daiļliteratūra virza soda naudu par klātbūtni uz augšu, lai bagātinātu vārdu krājumu, vienlaikus uzturot soda naudu par biežumu mērenu. Datu ieguve, gluži pretēji, atspējo abus: tur atkārtošanās ir likumīga, un vienam lauka nosaukumam var būt nepieciešams parādīties desmit reizes. Kopsavilkums atrodas pa vidu, ar tik lielu sodu, lai izvairītos no avota teksta kopēšanas un ielīmēšanas.

# Tērzēšanas robots — neliela daudzveidība, bez atkārtojumiem
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Daiļliteratūra — bagāts vārdu krājums, bez cilpām
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Datu ieguve — bez sodiem (precīza atbilde)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Kopsavilkums — zināma daudzveidība, lai izvairītos no kopēšanas
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnosticē pirms pielāgošanas

Šo parametru pielāgošana “pēc auss” ātri noved pie patvaļīgām korekcijām. Tā vietā veic mērījumus. Zemāk esošā funkcija aprēķina daudzveidības koeficientu – unikālo vārdu attiecību pret kopējo vārdu skaitu – un izolē vārdus, kas garāki par trim burtiem un parādās vairāk nekā divas reizes, tādējādi atlasot ārā rakstus un prievārdus, kuru atkārtošanās ir normāla. Palaid to ar to pašu uzdevumu trim dažādām frequency_penalty vērtībām, un tu redzēsi, kā koeficients aug, līdz sasniedz plato: šis plato norāda vērtību, virs kuras tu vairs negūsti nekādu labumu.

def analyze_repetition(text: str) -> dict:
    """Analizē ģenerētā teksta atkārtošanās līmeni."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Saskaita vārdus, kas parādās vairāk nekā 2 reizes
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Testē ar un bez sodiem
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Divi veidi, kā visu sabojāt

Pirmais ir pārspīlēt. Pārsniedzot 1.5, models izvairās no parastajiem vārdus tik ļoti, ka tos aizstāj ar nepiemērotiem alternatīviem: teksts kļūst nesakarīgs, pilns ar nepareizi lietotiem retiem terminiem. Skaidrojot Pitagora teorēmu, sodi ar vērtību 2.0 neļauj modelim atkārtot vārdus „malas” un „trīsstūris” – tieši tos vārdus, kas pierādījumam ir nepieciešami.

# SLIKTI — pārāk spēcīgs sods
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Rezultāts: nesakarīgs teksts, nepareizi lietoti reti vārdi

Otrais ir augstu sodu kombinēšana ar augstu temperatūru. Katrs mehānisms pievieno savu nejaušības daļu vienam un tam pašam atlases procesam, un to superpozīcija rada gandrīz nejaušu tekstu. Tāpat kā ar temperature un top_p, disciplīna prasa pielāgot vienu parametru vienlaikus.

# IZVAIRIES — pārāk daudz nejaušības
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# PAREIZI — pielāgo vienu parametru vienlaikus
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Galvenās atziņas

  • Soda nauda par klātbūtni: fiksēts sods, tiklīdz tokens ir redzēts – paplašina vārdu krājumu
  • Soda nauda par biežumu: kumulatīvs sods, proporcionāls biežumam – cīnās ar cilpām
  • Abi svārstās no -2.0 līdz 2.0, noklusējums 0.0
  • Darbvidē vairumā gadījumu paliec robežās no 0.0 līdz 1.0
  • Nekombinē augstas vērtības ar augstu temperatūru
  • Atspējo sodus ieguvei un klasifikācijai (kur atkārtošanās ir pieņemama)