Soda naudas un biežuma sodi
Šajā lapā
Atkārtošanās apkarošana
Valodu modeļiem ir dabiska tieksme atkārtoties. Tas izpaužas trīs atpazīstamos veidos: tas pats vārds atkārtojas visā rindkopā, identiskas teikumu struktūras atkārtojas rindiņu pēc rindiņas vai veselas rindkopas tiek pārrakstītas, nepievienojot jaunu informāciju. Temperatūra to neatrisina – globālas nejaušības palielināšana pasliktina sakarīgumu, negarantējot leksisku daudzveidību. Parametri presence_penalty un frequency_penalty nodrošina daudz precīzāku kontroli, ja vien saproti, kas tos atšķir.
Soda nauda par klātbūtni: fiksēts sods
Soda nauda par klātbūtni (presence penalty) piemēro vienu, fiksētu sodu katram tokenam, kas ģenerētajā atbildē parādījies vismaz vienu reizi. Nav svarīgi, vai tokens lietots vienu vai piecpadsmit reizes – sods paliek nemainīgs. Efekts ir tāds, ka models tiek mudināts izmantot vārdus, kurus tas vēl nav lietojis, tādējādi paplašinot atbildes vārdu krājumu. Palūdz desmit īpašvārdus jūras aprakstam, un tu uzreiz redzēsi atšķirību – bez soda variācijas mēdz riņķot ap trim vai četriem semantiskajiem laukiem.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))
# Bez soda — models var atkārtoties
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Ar soda naudu par klātbūtni — veicina vārdu krājuma daudzveidību
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)
Parametrs pieņem vērtības no -2.0 līdz 2.0, kur 0.0 ir noklusējums. Pozitīva vērtība soda jau redzētos tokenus, tādējādi radot lielāku daudzveidību; negatīva vērtība dara pretējo un veicina atkārtošanos, kas noder tikai ļoti specifiskos gadījumos, piemēram, ģenerējot piedziedājumus vai atkārtotas formulas. Darbvidē paliec robežās no 0.0 līdz 1.5.
Soda nauda par biežumu: kumulatīvs sods
Soda nauda par biežumu (frequency penalty) darbojas citādāk: sods ir kumulatīvs un pieaug līdz ar tokena atkārtojumu skaitu. Jo biežāk vārds tiek atkārtots, jo mazāk ticams tas kļūst nākamajā reizē. Kamēr soda nauda par klātbūtni paplašina vārdu krājumu, šis pakāpeniski bremžē vārdus, kas atgriežas pārāk bieži, padarot to īpaši efektīvu pret cilpām garos tekstos.
# Bez soda naudas par biežumu
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)
# Ar soda naudu par biežumu — samazina ļoti biežus tokenus
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)
Tāpat kā iepriekšējais, tas svārstās no -2.0 līdz 2.0 ar 0.0 kā noklusējumu, kur pozitīva vērtība arvien vairāk soda biežus tokenus. Tomēr tā lietderīgais diapazons darbvidē ir šaurāks: 0.0 līdz 1.0, jo tā kumulatīvā daba padara to agresīvāku pie vienādām vērtībām.
Zemāk esošā tabula apkopo to atšķirības.
| Iezīme | Soda nauda par klātbūtni | Soda nauda par biežumu |
|---|---|---|
| Ierosinātājs | Pie 1. parādīšanās reizes | Pie katras parādīšanās reizes |
| Pieaugums | Fiksēts (vienāds sods) | Kumulatīvs (pieaug) |
| Efekts | Vārdu krājuma daudzveidība | Samazina atkārtojumus |
| Vislabākais | Jaunu tēmu izpētei | Vārdu cilpu novēršanai |
Konfigurācijas atkarībā no nolūka
Praksē tu pielāgo šos divus parametrus kopā ar temperatūru atkarībā no tā, ko tava lietotne ģenerē. Tērzēšanas robotam ir nepieciešama neliela daudzveidība un nekādu atkārtojumu, nekas vairāk. Daiļliteratūra virza soda naudu par klātbūtni uz augšu, lai bagātinātu vārdu krājumu, vienlaikus uzturot soda naudu par biežumu mērenu. Datu ieguve, gluži pretēji, atspējo abus: tur atkārtošanās ir likumīga, un vienam lauka nosaukumam var būt nepieciešams parādīties desmit reizes. Kopsavilkums atrodas pa vidu, ar tik lielu sodu, lai izvairītos no avota teksta kopēšanas un ielīmēšanas.
# Tērzēšanas robots — neliela daudzveidība, bez atkārtojumiem
CONFIG_CHATBOT = {
"temperature": 0.7,
"presence_penalty": 0.3,
"frequency_penalty": 0.3
}
# Daiļliteratūra — bagāts vārdu krājums, bez cilpām
CONFIG_CREATIF = {
"temperature": 0.9,
"presence_penalty": 0.8,
"frequency_penalty": 0.5
}
# Datu ieguve — bez sodiem (precīza atbilde)
CONFIG_EXTRACTION = {
"temperature": 0.0,
"presence_penalty": 0.0,
"frequency_penalty": 0.0
}
# Kopsavilkums — zināma daudzveidība, lai izvairītos no kopēšanas
CONFIG_RESUME = {
"temperature": 0.3,
"presence_penalty": 0.2,
"frequency_penalty": 0.4
}
Diagnosticē pirms pielāgošanas
Šo parametru pielāgošana “pēc auss” ātri noved pie patvaļīgām korekcijām. Tā vietā veic mērījumus. Zemāk esošā funkcija aprēķina daudzveidības koeficientu – unikālo vārdu attiecību pret kopējo vārdu skaitu – un izolē vārdus, kas garāki par trim burtiem un parādās vairāk nekā divas reizes, tādējādi atlasot ārā rakstus un prievārdus, kuru atkārtošanās ir normāla. Palaid to ar to pašu uzdevumu trim dažādām frequency_penalty vērtībām, un tu redzēsi, kā koeficients aug, līdz sasniedz plato: šis plato norāda vērtību, virs kuras tu vairs negūsti nekādu labumu.
def analyze_repetition(text: str) -> dict:
"""Analizē ģenerētā teksta atkārtošanās līmeni."""
words = text.lower().split()
total = len(words)
unique = len(set(words))
# Saskaita vārdus, kas parādās vairāk nekā 2 reizes
from collections import Counter
counts = Counter(words)
repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}
return {
"total_words": total,
"unique_words": unique,
"diversity_ratio": round(unique / total, 3) if total > 0 else 0,
"repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
}
# Testē ar un bez sodiem
for fp in [0.0, 0.5, 1.0]:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
max_tokens=500,
frequency_penalty=fp
)
text = response.choices[0].message.content
stats = analyze_repetition(text)
print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")
Divi veidi, kā visu sabojāt
Pirmais ir pārspīlēt. Pārsniedzot 1.5, models izvairās no parastajiem vārdus tik ļoti, ka tos aizstāj ar nepiemērotiem alternatīviem: teksts kļūst nesakarīgs, pilns ar nepareizi lietotiem retiem terminiem. Skaidrojot Pitagora teorēmu, sodi ar vērtību 2.0 neļauj modelim atkārtot vārdus „malas” un „trīsstūris” – tieši tos vārdus, kas pierādījumam ir nepieciešami.
# SLIKTI — pārāk spēcīgs sods
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
presence_penalty=2.0,
frequency_penalty=2.0
)
# Rezultāts: nesakarīgs teksts, nepareizi lietoti reti vārdi
Otrais ir augstu sodu kombinēšana ar augstu temperatūru. Katrs mehānisms pievieno savu nejaušības daļu vienam un tam pašam atlases procesam, un to superpozīcija rada gandrīz nejaušu tekstu. Tāpat kā ar temperature un top_p, disciplīna prasa pielāgot vienu parametru vienlaikus.
# IZVAIRIES — pārāk daudz nejaušības
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}
# PAREIZI — pielāgo vienu parametru vienlaikus
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}
Galvenās atziņas
- Soda nauda par klātbūtni: fiksēts sods, tiklīdz tokens ir redzēts – paplašina vārdu krājumu
- Soda nauda par biežumu: kumulatīvs sods, proporcionāls biežumam – cīnās ar cilpām
- Abi svārstās no -2.0 līdz 2.0, noklusējums 0.0
- Darbvidē vairumā gadījumu paliec robežās no 0.0 līdz 1.0
- Nekombinē augstas vērtības ar augstu temperatūru
- Atspējo sodus ieguvei un klasifikācijai (kur atkārtošanās ir pieņemama)