Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Ποινές παρουσίας και συχνότητας

Μάθημα 14 / 16 Ενημερώθηκε 2 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Καταπολέμηση της επανάληψης
  2. Ποινή παρουσίας: Μια σταθερή ποινή
  3. Ποινή συχνότητας: Μια αθροιστική ποινή
  4. Διαμορφώσεις ανά πρόθεση
  5. Διάγνωση πριν τη ρύθμιση
  6. Δύο τρόποι να τα καταστρέψετε όλα
  7. Βασικά σημεία

Καταπολέμηση της επανάληψης

Τα γλωσσικά μοντέλα έχουν μια φυσική τάση να επαναλαμβάνονται. Αυτό εκδηλώνεται με τρεις αναγνωρίσιμους τρόπους: η ίδια λέξη να επαναλαμβάνεται συνεχώς μέσα σε μια παράγραφο, ίδιες δομές προτάσεων να εμφανίζονται γραμμή προς γραμμή, ή ολόκληρες παράγραφοι να διατυπώνονται εκ νέου χωρίς να προσθέτουν νέες πληροφορίες. Η θερμοκρασία δεν λύνει το πρόβλημα· η αύξηση της γενικής τυχαιότητας υποβαθμίζει τη συνοχή χωρίς να εγγυάται λεξιλογική ποικιλία. Οι παράμετροι presence_penalty και frequency_penalty προσφέρουν πολύ λεπτομερέστερο έλεγχο, αρκεί να κατανοήσετε τι τις διαφοροποιεί.

Ποινή παρουσίας: Μια σταθερή ποινή

Η ποινή παρουσίας εφαρμόζει μια μοναδική, σταθερή ποινή σε κάθε token που έχει εμφανιστεί τουλάχιστον μία φορά στην παραγόμενη απάντηση. Δεν έχει σημασία αν το token χρησιμοποιήθηκε μία ή δεκαπέντε φορές· η ποινή παραμένει η ίδια. Το αποτέλεσμα είναι να ενθαρρύνεται το μοντέλο να αντλεί από λέξεις που δεν έχει χρησιμοποιήσει ακόμη, διευρύνοντας έτσι το λεξιλόγιο της απάντησης. Ζητήστε δέκα επιθέτα για να περιγράψετε τη θάλασσα και θα δείτε αμέσως τη διαφορά· χωρίς ποινή, οι παραλλαγές τείνουν να κινούνται γύρω από τρία ή τέσσερα σημασιολογικά πεδία.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.getenv("MISTRAL_API_KEY"))

# No penalty — the model may repeat itself
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# With presence penalty — encourages vocabulary diversity
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "List 10 adjectives to describe the sea."}],
    presence_penalty=1.0
)
print("With penalty:", response.choices[0].message.content)

Η παράμετρος δέχεται τιμές από -2.0 έως 2.0, με προεπιλογή το 0.0. Μια θετική τιμή ποινικοποιεί τα tokens που έχουν ήδη εμφανιστεί και επομένως παράγει μεγαλύτερη ποικιλία· μια αρνητική τιμή κάνει το αντίθετο και ευνοεί την επανάληψη, κάτι που χρήσιμο μόνο σε πολύ συγκεκριμένες περιπτώσεις, όπως η δημιουργία ρεφρέν ή επαναλαμβανόμενων τύπων. Στην παραγωγή, μείνετε στο εύρος 0.0 έως 1.5.

Ποινή συχνότητας: Μια αθροιστική ποινή

Η ποινή συχνότητας λειτουργεί διαφορετικά: η ποινή είναι αθροιστική και αυξάνεται με τον αριθμό των εμφανίσεων του token. Όσο περισσότερο επαναλαμβάνεται μια λέξη, τόσο λιγότερο πιθανό γίνεται να επιλεγεί στην επόμενη εμφάνισή της. Ενώ η ποινή παρουσίας διευρύνει το λεξιλόγιο, αυτή επιβραδύνει προοδευτικά τις λέξεις που επιστρέφουν πολύ συχνά, καθιστώντας την ιδιαίτερα αποτελεσματική κατά των βρόχων σε μεγάλα κείμενα.

# No frequency penalty
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.0
)
print("No penalty:", response.choices[0].message.content)

# With frequency penalty — reduces very frequent tokens
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Write a paragraph about artificial intelligence."}],
    frequency_penalty=0.8
)
print("With penalty:", response.choices[0].message.content)

Όπως και η προηγούμενη, κυμαίνεται από -2.0 έως 2.0 με προεπιλογή το 0.0, όπου μια θετική τιμή ποινικοποιεί όλο και περισσότερο τα συχνά tokens. Ωστόσο, το χρήσιμο εύρος της στην παραγωγή είναι στενότερο: 0.0 έως 1.0, καθώς η αθροιστική της φύση την καθιστά πιο επιθετική για ίσες τιμές.

Ο παρακάτω πίνακας συνοψίζει τις διαφορές τους.

ΧαρακτηριστικόΠοινή παρουσίαςΠοινή συχνότητας
ΕνεργοποίησηΣτην 1η εμφάνισηΣε κάθε εμφάνιση
ΑύξησηΣταθερή (ίδια ποινή)Αθροιστική (αυξάνεται)
ΕπίδρασηΠοικιλία λεξιλογίουΜείωση επαναλήψεων
Ιδανική χρήσηΕξερεύνηση νέων θεμάτωνΑποφυγή λεκτικών βρόχων

Διαμορφώσεις ανά πρόθεση

Στην πράξη, ρυθμίζετε αυτές τις δύο παραμέτρους μαζί με τη θερμοκρασία, ανάλογα με το τι παράγει η εφαρμογή σας. Ένα chatbot χρειάζεται ελαφριά ποικιλία και καθόλου επαναλήψεις, τίποτα περισσότερο. Η δημιουργική γραφή ωθεί την ποινή παρουσίας για εμπλουτισμό του λεξιλογίου, διατηρώντας την ποινή συχνότητας σε μέτρια επίπεδα. Η εξαγωγή δεδομένων, αντιθέτως, απενεργοποιεί και τις δύο: εκεί η επανάληψη είναι νόμιμη και το ίδιο όνομα πεδίου μπορεί να χρειάζεται να εμφανιστεί δέκα φορές. Η σύνοψη βρίσκεται κάπου στη μέση, με αρκετή ποινή ώστε να αποφεύγεται η αντιγραφή-επικόλληση του πηγαίου κειμένου.

# Chatbot — slight diversity, no repetitions
CONFIG_CHATBOT = {
    "temperature": 0.7,
    "presence_penalty": 0.3,
    "frequency_penalty": 0.3
}

# Creative writing — rich vocabulary, no loops
CONFIG_CREATIF = {
    "temperature": 0.9,
    "presence_penalty": 0.8,
    "frequency_penalty": 0.5
}

# Data extraction — no penalties (exact response)
CONFIG_EXTRACTION = {
    "temperature": 0.0,
    "presence_penalty": 0.0,
    "frequency_penalty": 0.0
}

# Summary — some diversity to avoid copy-paste
CONFIG_RESUME = {
    "temperature": 0.3,
    "presence_penalty": 0.2,
    "frequency_penalty": 0.4
}

Διάγνωση πριν τη ρύθμιση

Η ρύθμιση αυτών των παραμέτρων «με το αυτί» οδηγεί γρήγορα σε αυθαίρετες προσαρμογές. Μετρήστε αντίθετα. Η παρακάτω συνάρτηση υπολογίζει έναν λόγο ποικιλίας (μοναδικές λέξεις προς συνολικές λέξεις) και εντοπίζει λέξεις μεγαλύτερες από τρία γράμματα που εμφανίζονται περισσότερες από δύο φορές, φιλτράροντας έτσι άρθρα και προθέσεις των οποίων η επανάληψη είναι φυσιολογική. Εκτελέστε την στο ίδιο prompt με τρεις τιμές frequency_penalty και θα δείτε τον λόγο να αυξάνεται και μετά να σταθεροποιείται: αυτή η σταθεροποίηση σηματοδοτεί την τιμή πέρα από την οποία δεν κερδίζετε τίποτα περισσότερο.

def analyze_repetition(text: str) -> dict:
    """Analyzes the repetition rate of generated text."""
    words = text.lower().split()
    total = len(words)
    unique = len(set(words))

    # Count words that appear more than 2 times
    from collections import Counter
    counts = Counter(words)
    repeated = {w: c for w, c in counts.items() if c > 2 and len(w) > 3}

    return {
        "total_words": total,
        "unique_words": unique,
        "diversity_ratio": round(unique / total, 3) if total > 0 else 0,
        "repeated_words": dict(sorted(repeated.items(), key=lambda x: -x[1])[:10])
    }

# Test with and without penalties
for fp in [0.0, 0.5, 1.0]:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": "Write a long paragraph about renewable energy."}],
        max_tokens=500,
        frequency_penalty=fp
    )
    text = response.choices[0].message.content
    stats = analyze_repetition(text)
    print(f"frequency_penalty={fp} | Diversity: {stats['diversity_ratio']} | Repeated: {stats['repeated_words']}")

Δύο τρόποι να τα καταστρέψετε όλα

Ο πρώτος είναι να πάτε πολύ ψηλά. Πέρα από το 1.5, το μοντέλο αποφεύγει τόσο πολύ τις κοινές λέξεις που τις αντικαθιστά με ακατάλληλες εναλλακτικές: το κείμενο γίνεται ασύνδετο, γεμάτο λανθασμένα χρησιμοποιούμενες σπάνιες λέξεις. Σε μια εξήγηση του πυθαγόρειου θεωρήματος, ποινές στο 2.0 εμποδίζουν το μοντέλο να επαναλάβει τις λέξεις «πλευρά» και «τρίγωνο» — ακριβώς τις λέξεις που χρειάζεται η απόδειξη.

# BAD — penalty too strong
response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "Explain the Pythagorean theorem."}],
    presence_penalty=2.0,
    frequency_penalty=2.0
)
# Result: disjointed text, misused rare words

Ο δεύτερος είναι ο συνδυασμός υψηλών ποινών με υψηλή θερμοκρασία. Κάθε μηχανισμός προσθέτει το μερίδιό του τυχαιότητας στην ίδια διαδικασία επιλογής και η επικάλυψή τους παράγει σχεδόν τυχαίο κείμενο. Όπως και με τις temperature και top_p, η πειθαρχία απαιτεί να προσαρμόζετε μία παράμετρο τη φορά.

# AVOID — too much randomness
{"temperature": 1.5, "presence_penalty": 1.5, "frequency_penalty": 1.5}

# CORRECT — adjust one parameter at a time
{"temperature": 0.7, "presence_penalty": 0.5, "frequency_penalty": 0.3}

Βασικά σημεία

  • Ποινή παρουσίας: σταθερή ποινή μόλις εμφανιστεί ένα token — διευρύνει το λεξιλόγιο
  • Ποινή συχνότητας: αθροιστική ποινή ανάλογη με τη συχνότητα — καταπολεμά τους βρόχους
  • Και οι δύο κυμαίνονται από -2.0 έως 2.0, με προεπιλογή 0.0
  • Στην παραγωγή, μείνετε στο εύρος 0.0 έως 1.0 για τις περισσότερες περιπτώσεις
  • Μην συνδυάζετε υψηλές τιμές με υψηλή θερμοκρασία
  • Απενεργοποιήστε τις ποινές για εξαγωγή και ταξινόμηση (όπου η επανάληψη είναι αποδεκτή)