Salt la conținutul principal
Română— Alege o limbă
Meniu

Penalități de prezență și de frecvență

Lecția 14 din 16 Actualizată 2 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Combaterea repetițiilor
  2. Penalitatea de prezență: o sancțiune fixă
  3. Penalitatea de frecvență: o sancțiune cumulativă
  4. Configurații în funcție de intenție
  5. Diagnosticați înainte de a regla
  6. Două modalități de a strica totul
  7. Puncte cheie

Combaterea repetițiilor

Modelele lingvistice au o tendință naturală de a se repeta. Acest lucru se manifestă în trei moduri recognoscibile: același cuvânt care reapare obsesiv într-un paragraf, structuri de propoziții identice care se succed linie după linie sau paragrafe întregi reformulate fără a aduce informații noi. Temperatura nu rezolvă această problemă; creșterea aleatorietății globale degradează coerența fără a garanta varietatea lexicală. Parametrii presence_penalty și frequency_penalty oferă un control mult mai fin, cu condiția să înțelegeți ce îi diferențiază.

Penalitatea de prezență: o sancțiune fixă

Penalitatea de prezență aplică o sancțiune unică și fixă fiecărui token care a apărut cel puțin o dată în răspunsul generat. Nu contează dacă tokenul a fost folosit o singură dată sau de cincisprezece ori; penalitatea rămâne aceeași. Efectul constă în încurajarea modelului să utilizeze cuvinte pe care nu le-a folosit încă, lărgind astfel vocabularul răspunsului. Dacă solicitați zece adjective pentru a descrie marea, veți observa diferența imediat: fără penalitate, variațiile tind să se învârtă în jurul a trei sau patru câmpuri semantice.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# Fără penalitate — modelul se poate repeta
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Cu penalitate de prezență — încurajează diversitatea vocabularului
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Acest parametru acceptă valori cuprinse între -2.0 și 2.0, valoarea implicită fiind 0.0. O valoare pozitivă penalizează tokenurile deja întâlnite și generează astfel mai multă diversitate; o valoare negativă produce efectul invers și favorizează repetiția, ceea ce este util doar în cazuri foarte specifice, cum ar fi generarea de refrene sau formule repetitive. În producție, mențineți-vă în intervalul 0.0 – 1.5.

Penalitatea de frecvență: o sancțiune cumulativă

Penalitatea de frecvență funcționează diferit: sancțiunea este cumulativă și crește odată cu numărul de apariții ale tokenului. Cu cât un cuvânt este repetat mai des, cu atât devine mai puțin probabil să fie selectat la următoarea apariție. În timp ce penalitatea de prezență deschide vocabularul, aceasta încetinește progresiv cuvintele care revin prea des, fiind deosebit de eficientă împotriva buclelor în texte lungi.

# Fără penalitate de frecvență
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# Cu penalitate de frecvență — reduce tokenurile foarte frecvente
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

La fel ca parametrul anterior, intervalul său este de la -2.0 la 2.0, cu 0.0 ca valoare implicită, o valoare pozitivă penalizând tot mai puternic tokenurile frecvente. Totuși, intervalul său util în producție este mai restrâns: 0.0 – 1.0, deoarece natura sa cumulativă îl face mai agresiv la valori egale.

Tabelul următor rezumă diferențele dintre cei doi parametri.

CaracteristicăPenalitate de prezențăPenalitate de frecvență
DeclanșareLa prima aparițieLa fiecare apariție
EvoluțieFixă (aceeași penalitate)Cumulativă (crește)
EfectDiversitate vocabularReduce repetițiile
Ideal pentruExplorarea unor subiecte noiEvitarea buclelor de cuvinte

Configurații în funcție de intenție

În practică, reglați acești doi parametri împreună cu temperatura, în funcție de ceea ce produce aplicația dumneavoastră. Un chatbot are nevoie de o ușoară diversitate și de absența repetițiilor, nimic mai mult. Scrierea creativă împinge penalitatea de prezență pentru a îmbogăți vocabularul, menținând în același timp penalitatea de frecvență la un nivel moderat. Extracția de date, dimpotrivă, dezactivează ambii parametri: repetiția este legitimă în acest context, iar același nume de câmp poate trebui să apară de zece ori. Rezumarea se situează la mijloc, cu o penalitate suficientă pentru a evita copierea integrală a textului sursă.

# Chatbot — ușoară diversitate, fără repetiții
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Scriere creativă — vocabular bogat, fără bucle
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Extracție de date — fără penalități (răspuns exact)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Rezumat — o anumită diversitate pentru a evita copierea
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Diagnosticați înainte de a regla

Reglarea acestor parametri „după ureche“ duce rapid la ajustări arbitrare. Măsurați în schimb. Funcția de mai jos calculează un raport de diversitate (cuvinte unice raportat la totalul cuvintelor) și izolează cuvintele mai lungi de trei litere care apar de mai mult de două ori, filtrând astfel articolele și prepozițiile a căror repetiție este normală. Rulați-o pe același prompt cu trei valori diferite pentru frequency_penalty și veți observa cum raportul crește, apoi se stabilizează: acel platou marchează valoarea dincolo de care nu mai obțineți niciun beneficiu suplimentar.

def analyze_repetition(text: str) -> dict:
    """Analizează rata de repetiție a textului generat."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Numără cuvintele care apar de mai mult de 2 ori
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Test cu și fără penalități
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Două modalități de a strica totul

Prima este de a merge prea sus. Dincolo de 1.5, modelul evită cuvintele comune într-o asemenea măsură încât le substituie cu alternative nepotrivite: textul devine discontinuu, presărat cu termeni rari utilizați greșit. Într-o explicație a teoremei lui Pitagora, penalitățile setate la 2.0 împiedică modelul să repete „latură“ și „triunghi“ – chiar cuvintele de care are nevoie demonstrația.

# RĂU — penalitate prea puternică
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Rezultat: text discontinuu, cuvinte rare utilizate greșit

A doua este combinarea penalităților ridicate cu o temperatură mare. Fiecare mecanism adaugă propria sa doză de aleatorietate aceluiași proces de selecție, iar suprapunerea lor produce un text aproape aleatoriu. La fel ca în cazul temperature și top_p, disciplina impune ajustarea unui singur parametru pe rând.

# DE EVITAT — prea multă aleatorietate
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# CORECT — ajustați un singur parametru pe rând
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Puncte cheie

  • Penalitate de prezență: sancțiune fixă odată ce un token a fost văzut – lărgește vocabularul
  • Penalitate de frecvență: sancțiune cumulativă proporțională cu frecvența – combate buclele
  • Ambele variază de la -2.0 la 2.0, valoarea implicită fiind 0.0
  • În producție, rămâneți în intervalul 0.0 – 1.0 pentru majoritatea cazurilor
  • Nu combinați valori mari cu o temperatură ridicată
  • Dezactivați penalitățile pentru extracție și clasificare (unde repetiția este acceptabilă)