Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Βαθμολογίες και Κατώφλια Διαχείρισης Περιεχομένου

Μάθημα 7 / 12 Ενημερώθηκε 3 Νοεμβρίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Ερμηνεύοντας τις Βαθμολογίες Διαχείρισης Περιεχομένου
  2. Ορίζοντας τα Κατώφλιά σας: Ο Πίνακας Αποφάσεων
  3. Σύστημα Ταξινόμησης Πολλαπλών Επιπέδων
  4. Πρακτικό Παράδειγμα: Ανάλυση και Απόφαση
  5. Δυναμική Προσαρμογή Κατωφλίων
  6. Παγίδες προς Αποφυγή
  7. Βασικά σημεία

Ενημερώθηκε στις 3 Νοεμβρίου 2026. Τα προφίλ κατωφλίων αναφέρονταν προηγουμένως σε ανύπαρκτες κατηγορίες (hate, violence, unpredictable)· πλέον ευθυγραμμίζονται με τα έντεκα κλειδιά από το mistral-moderation-2603, συμπεριλαμβανομένου του dangerous. Ο οδηγός ερμηνείας βαθμολογιών παρέχεται ως εκπαιδευτική αναφορά, καθώς η Mistral δεν δημοσιεύει έναν τέτοιο. Ο μηχανισμός παρακολούθησης προέκυπτε προηγουμένως με σφάλμα KeyError για οποιαδήποτε κατηγορία έλειπε από το προφίλ και χρησιμοποιούσε τη datetime.utcnow(), η οποία έχει καταργηθεί από την Python 3.12. Πηγές: Moderation & Guardrailing · datetime.utcnow.

Ερμηνεύοντας τις Βαθμολογίες Διαχείρισης Περιεχομένου

Κάθε κατηγορία επιστρέφει μια βαθμολογία μεταξύ 0.0 και 1.0. Αλλά τι σημαίνουν πραγματικά αυτοί οι αριθμοί; Και πώς ορίζετε τα κατώφλια λήψης αποφάσεων για την εφαρμογή σας; Αυτό το μάθημα σας δίνει τα κλειδιά για να μετατρέψετε τις ακατέργαστες βαθμολογίες σε αυτοματοποιημένες αποφάσεις—μεταβαίνοντας από τη μέτρηση στην πολιτική.

Κατανοήστε πρώτα ότι η Mistral δεν παρουσιάζει αυτές τις βαθμολογίες ως βαθμονομημένες πιθανότητες. Μια βαθμολογία 0.6 δεν σημαίνει «έξι στις δέκα πιθανότητες αυτό το κείμενο να είναι επικίνδυνο»· αποτελεί ένα ισχυρό σήμα από τον ταξινομητή. Η τεκμηρίωση επισημαίνει δύο χρήσιμα σημεία. Οι boolean τιμές categories στην απόκριση εφαρμόζουν κατώφλια που επέλεξε η Mistral για βέλτιστη απόδοση στο εσωτερικό της σύνολο δοκιμών· μπορείτε να τα χρησιμοποιήσετε ή να ξεκινήσετε από τις ακατέργαστες βαθμολογίες και να ορίσετε τα δικά σας. Σε αυτό το σύνολο δοκιμών, η ακρίβεια κατηγορίας κυμαίνεται από 0.8 έως 1.0 και η ανάκληση από 0.7 έως 1.0: συμβαίνουν τόσο ψευδώς θετικά αποτελέσματα όσο και παραλείψεις περιεχομένου, γι’ αυτό οι χειροκίνητα ρυθμιζόμενες τιμές κατωφλίου έχουν σημασία.

Ο παρακάτω πίνακας δεν δημοσιεύεται από τη Mistral: αποτελεί μια αρχική αναφορά για επικύρωση έναντι των δικών σας μετρικών.

ΕύροςΕρμηνεία
0.0 - 0.1Σαφώς ασφαλές περιεχόμενο, δεν ανιχνεύθηκε σήμα
0.1 - 0.3Αδύναμο σήμα, πιθανώς αθώο αλλά διφορούμενο
0.3 - 0.5Μέτριο σήμα, πιθανώς προβληματικό περιεχόμενο
0.5 - 0.7Ισχυρό σήμα, πολύ πιθανώς προβληματικό περιεχόμενο
0.7 - 1.0Πολύ ισχυρό σήμα, εμφανώς επικίνδυνο περιεχόμενο

Ορίζοντας τα Κατώφλιά σας: Ο Πίνακας Αποφάσεων

Η επιλογή ενός κατωφλίου αποτελεί συμβιβασμό μεταξύ ασφάλειας (μπλοκάρισμα όσο το δυνατόν περισσότερου περιεχομένου) και χρηστικότητας (ελαχιστοποίηση των ψευδώς θετικών αποτελεσμάτων). Καμία ρύθμιση δεν κερδίζει και στα δύο μέτωπα, και ο ισχυρισμός του αντιθέτου οδηγεί σε ατέρμονες αντιπαραθέσεις. Η μέθοδος εργασίας είναι να ορίσετε τρία ρητά προφίλ και να αντιστοιχίσετε κάθε εφαρμογή σε ένα από αυτά.

Το αυστηρό προφίλ στοχεύει σε μια καταναλωτική εφαρμογή όπου ενδέχεται να υπάρχουν ανήλικοι· το ισορροπημένο προφίλ ταιριάζει σε μια επαγγελματική εφαρμογή B2B με αναγνωρισμένους χρήστες· το επιεικές προφίλ προορίζεται για ένα εσωτερικό εργαλείο που διαχειρίζονται ειδικοί που γνωρίζουν τι ζητούν.

# Three threshold profiles
PROFILES = {
    "strict": {
        # Consumer application, children possible
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B professional application
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Internal tool for experts
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Συγκρίνετε τη στήλη health στα προφίλ: 0.2, μετά 0.4, μετά 0.7. Η ίδια ανταλλαγή μηνυμάτων σχετικά με τη δοσολογία θα μπλοκαριστεί στην πρώτη περίπτωση και θα γίνει δεκτή στην τελευταία. Το πλαίσιο χρήσης αποφασίζει, όχι η φύση του κειμένου.

Σύστημα Ταξινόμησης Πολλαπλών Επιπέδων

Το μπλοκάρισμα ή η αποδοχή αποτελεί μια υπερβολικά απλοποιημένη άποψη της πραγματικότητας. Μεταξύ του εμφανώς ασφαλούς περιεχομένου και του εμφανώς παραβατικού περιεχομένου υπάρχει μια γκρίζα ζώνη όπου η σωστή απόφαση είναι η εμφάνιση με επισήμανση. Η παρακάτω συνάρτηση εισάγει αυτή την τρίτη κατάσταση: πάνω από το κατώφλι, μπλοκάρισμα· πάνω από το 60% του κατωφλίου, προειδοποίηση και καταγραφή· κάτω από αυτό, αφήστε το να περάσει.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Green: safe content
    WARNING = "warning"    # Orange: content to monitor
    BLOCKED = "blocked"    # Red: blocked content

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Classifies content into 3 risk levels."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Warning zone: 60% of threshold
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Η αξία της πορτοκαλί ζώνης είναι εξίσου επιχειρησιακή όσο και εκπαιδευτική: σας δείχνει τι πλησιάζει τα κατώφλιά σας. Εάν μια κατηγορία παράγει πολλές προειδοποιήσεις χωρίς ποτέ να ξεπεράσει το όριο, γνωρίζετε ότι μια προσαρμογή μερικών εκατοστών θα μετέφερε σημαντικό όγκο κυκλοφορίας.

Πρακτικό Παράδειγμα: Ανάλυση και Απόφαση

Η συναρμολόγηση ανάγεται σε μία συνάρτηση: καλέστε τον ταξινομητή, εφαρμόστε το προφίλ, λάβετε την απόφαση. Η παρακάτω σύγκριση serves ως επίδειξη—μια δοσολογία παρακεταμόλης μπλοκάρεται στο αυστηρό προφίλ υπό την κατηγορία health και γίνεται δεκτή στο επιεικές προφίλ, χωρίς να αλλάζει ούτε μία γραμμή κειμένου.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderates text and makes a decision based on the profile."""
    # Call to moderation API
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Apply profile thresholds
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Test with different profiles
text = "Take 2 paracetamol tablets every 6 hours"

# Strict profile: likely blocked (health)
result_strict = moderate_and_decide(text, "strict")

# Permissive profile: likely accepted
result_permissive = moderate_and_decide(text, "permissive")

Δυναμική Προσαρμογή Κατωφλίων

Σε περιβάλλον παραγωγής, τα κατώφλιά σας πρέπει να εξελίσσονται, και εσείς καθοδηγείτε αυτή την εξέλιξη με δεδομένα. Ο παρακάτω μηχανισμός παρακολούθησης γράφει κάθε απόφαση σε ένα αρχείο JSONL και διατηρεί μετρητές για μπλοκαρίσματα, προειδοποιήσεις και επιτυχείς διελεύσεις, ανά κατηγορία. Η προκύπτουσα αναφορά σας δίνει τον ρυθμό μπλοκαρίσματος ανά κατηγορία—τη μοναδική μετρική που σας λέει εάν ένα κατώφλι είναι πολύ χαμηλό.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Collects moderation metrics to adjust thresholds."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Logs a moderation decision."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Update counters
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generates a report to adjust thresholds."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Παγίδες προς Αποφυγή

Η πρώτη παγίδα είναι ένα ενιαίο κατώφλι που εφαρμόζεται σε όλες τις κατηγορίες. Κάθε κατηγορία έχει τη δική της κατανομή βαθμολογιών: ένα κατώφλι 0.3 για το hate_and_discrimination δεν σημαίνει το ίδιο πράγμα με το 0.3 για το health, όπου το νόμιμο περιεχόμενο φυσικά βρίσκεται υψηλότερα στην κλίμακα. Προσαρμόστε κάθε κατηγορία ξεχωριστά, ακόμα κι αν αυτό σημαίνει να λάβετε έντεκα αποφάσεις αντί για μία.

Η δεύτερη είναι η αγνόηση των ψευδώς θετικών αποτελεσμάτων. Ένας υψηλός ρυθμός μπλοκαρίσματος διαβρώνει την εμπιστοσύνη των χρηστών πολύ γρηγορότερα από ένα μεμονωμένο περιστατικό, επειδή επηρεάζει άτομα που ενεργούν καλόπιστα. Παρακολουθήστε τον ρυθμό μπλοκαρίσματος ανά κατηγορία και αυξήστε τα κατώφλια όταν τα δεδομένα το δικαιολογούν.

Η τρίτη, πιο ύπουλη, είναι η αποτυχία καταγραφής των αποφάσεων. Χωρίς αρχεία καταγραφής, δεν μπορείτε να προσαρμόσετε τα κατώφλιά σας με τεκμηριωμένο τρόπο και επιστρέφετε σε συζητήσεις βασισμένες σε απόψεις. Καταγράφετε συστηματικά τις βαθμολογίες, τα εφαρμοσμένα κατώφλια και τις αποφάσεις που ελήφθησαν—αυτό το σώμα δεδομένων είναι αυτό που θα κάνει την επόμενη αναθεώρηση γρήγορη και αδιαμφισβήτητη.

Βασικά σημεία

  • Οι βαθμολογίες κυμαίνονται από 0.0 έως 1.0· δεν είναι βαθμονομημένες πιθανότητες και η Mistral ενθαρρύνει τον ορισμό των δικών σας κατωφλίων
  • Ορίστε προφίλ κατωφλίων προσαρμοσμένα στο πλαίσιο σας (αυστηρό, ισορροπημένο, επιεικές)
  • Υλοποιήστε ένα σύστημα 3 επιπέδων: ασφαλές, προειδοποίηση, μπλοκαρισμένο
  • Καταγράφετε όλες τις αποφάσεις για συνεχή προσαρμογή των κατωφλίων σας
  • Κάθε κατηγορία απαιτεί το δικό της κατώφλι—καμία ενιαία τιμή δεν ταιριάζει σε όλες