Βαθμολογίες και Κατώφλια Διαχείρισης Περιεχομένου
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026. Τα προφίλ κατωφλίων αναφέρονταν προηγουμένως σε ανύπαρκτες κατηγορίες (
hate,violence,unpredictable)· πλέον ευθυγραμμίζονται με τα έντεκα κλειδιά από τοmistral-moderation-2603, συμπεριλαμβανομένου τουdangerous. Ο οδηγός ερμηνείας βαθμολογιών παρέχεται ως εκπαιδευτική αναφορά, καθώς η Mistral δεν δημοσιεύει έναν τέτοιο. Ο μηχανισμός παρακολούθησης προέκυπτε προηγουμένως με σφάλμαKeyErrorγια οποιαδήποτε κατηγορία έλειπε από το προφίλ και χρησιμοποιούσε τηdatetime.utcnow(), η οποία έχει καταργηθεί από την Python 3.12. Πηγές: Moderation & Guardrailing · datetime.utcnow.
Ερμηνεύοντας τις Βαθμολογίες Διαχείρισης Περιεχομένου
Κάθε κατηγορία επιστρέφει μια βαθμολογία μεταξύ 0.0 και 1.0. Αλλά τι σημαίνουν πραγματικά αυτοί οι αριθμοί; Και πώς ορίζετε τα κατώφλια λήψης αποφάσεων για την εφαρμογή σας; Αυτό το μάθημα σας δίνει τα κλειδιά για να μετατρέψετε τις ακατέργαστες βαθμολογίες σε αυτοματοποιημένες αποφάσεις—μεταβαίνοντας από τη μέτρηση στην πολιτική.
Κατανοήστε πρώτα ότι η Mistral δεν παρουσιάζει αυτές τις βαθμολογίες ως βαθμονομημένες πιθανότητες. Μια βαθμολογία 0.6 δεν σημαίνει «έξι στις δέκα πιθανότητες αυτό το κείμενο να είναι επικίνδυνο»· αποτελεί ένα ισχυρό σήμα από τον ταξινομητή. Η τεκμηρίωση επισημαίνει δύο χρήσιμα σημεία. Οι boolean τιμές categories στην απόκριση εφαρμόζουν κατώφλια που επέλεξε η Mistral για βέλτιστη απόδοση στο εσωτερικό της σύνολο δοκιμών· μπορείτε να τα χρησιμοποιήσετε ή να ξεκινήσετε από τις ακατέργαστες βαθμολογίες και να ορίσετε τα δικά σας. Σε αυτό το σύνολο δοκιμών, η ακρίβεια κατηγορίας κυμαίνεται από 0.8 έως 1.0 και η ανάκληση από 0.7 έως 1.0: συμβαίνουν τόσο ψευδώς θετικά αποτελέσματα όσο και παραλείψεις περιεχομένου, γι’ αυτό οι χειροκίνητα ρυθμιζόμενες τιμές κατωφλίου έχουν σημασία.
Ο παρακάτω πίνακας δεν δημοσιεύεται από τη Mistral: αποτελεί μια αρχική αναφορά για επικύρωση έναντι των δικών σας μετρικών.
| Εύρος | Ερμηνεία |
|---|---|
| 0.0 - 0.1 | Σαφώς ασφαλές περιεχόμενο, δεν ανιχνεύθηκε σήμα |
| 0.1 - 0.3 | Αδύναμο σήμα, πιθανώς αθώο αλλά διφορούμενο |
| 0.3 - 0.5 | Μέτριο σήμα, πιθανώς προβληματικό περιεχόμενο |
| 0.5 - 0.7 | Ισχυρό σήμα, πολύ πιθανώς προβληματικό περιεχόμενο |
| 0.7 - 1.0 | Πολύ ισχυρό σήμα, εμφανώς επικίνδυνο περιεχόμενο |
Ορίζοντας τα Κατώφλιά σας: Ο Πίνακας Αποφάσεων
Η επιλογή ενός κατωφλίου αποτελεί συμβιβασμό μεταξύ ασφάλειας (μπλοκάρισμα όσο το δυνατόν περισσότερου περιεχομένου) και χρηστικότητας (ελαχιστοποίηση των ψευδώς θετικών αποτελεσμάτων). Καμία ρύθμιση δεν κερδίζει και στα δύο μέτωπα, και ο ισχυρισμός του αντιθέτου οδηγεί σε ατέρμονες αντιπαραθέσεις. Η μέθοδος εργασίας είναι να ορίσετε τρία ρητά προφίλ και να αντιστοιχίσετε κάθε εφαρμογή σε ένα από αυτά.
Το αυστηρό προφίλ στοχεύει σε μια καταναλωτική εφαρμογή όπου ενδέχεται να υπάρχουν ανήλικοι· το ισορροπημένο προφίλ ταιριάζει σε μια επαγγελματική εφαρμογή B2B με αναγνωρισμένους χρήστες· το επιεικές προφίλ προορίζεται για ένα εσωτερικό εργαλείο που διαχειρίζονται ειδικοί που γνωρίζουν τι ζητούν.
# Three threshold profiles
PROFILES = {
"strict": {
# Consumer application, children possible
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B professional application
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Internal tool for experts
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Συγκρίνετε τη στήλη health στα προφίλ: 0.2, μετά 0.4, μετά 0.7. Η ίδια ανταλλαγή μηνυμάτων σχετικά με τη δοσολογία θα μπλοκαριστεί στην πρώτη περίπτωση και θα γίνει δεκτή στην τελευταία. Το πλαίσιο χρήσης αποφασίζει, όχι η φύση του κειμένου.
Σύστημα Ταξινόμησης Πολλαπλών Επιπέδων
Το μπλοκάρισμα ή η αποδοχή αποτελεί μια υπερβολικά απλοποιημένη άποψη της πραγματικότητας. Μεταξύ του εμφανώς ασφαλούς περιεχομένου και του εμφανώς παραβατικού περιεχομένου υπάρχει μια γκρίζα ζώνη όπου η σωστή απόφαση είναι η εμφάνιση με επισήμανση. Η παρακάτω συνάρτηση εισάγει αυτή την τρίτη κατάσταση: πάνω από το κατώφλι, μπλοκάρισμα· πάνω από το 60% του κατωφλίου, προειδοποίηση και καταγραφή· κάτω από αυτό, αφήστε το να περάσει.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Green: safe content
WARNING = "warning" # Orange: content to monitor
BLOCKED = "blocked" # Red: blocked content
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Classifies content into 3 risk levels."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Warning zone: 60% of threshold
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Η αξία της πορτοκαλί ζώνης είναι εξίσου επιχειρησιακή όσο και εκπαιδευτική: σας δείχνει τι πλησιάζει τα κατώφλιά σας. Εάν μια κατηγορία παράγει πολλές προειδοποιήσεις χωρίς ποτέ να ξεπεράσει το όριο, γνωρίζετε ότι μια προσαρμογή μερικών εκατοστών θα μετέφερε σημαντικό όγκο κυκλοφορίας.
Πρακτικό Παράδειγμα: Ανάλυση και Απόφαση
Η συναρμολόγηση ανάγεται σε μία συνάρτηση: καλέστε τον ταξινομητή, εφαρμόστε το προφίλ, λάβετε την απόφαση. Η παρακάτω σύγκριση serves ως επίδειξη—μια δοσολογία παρακεταμόλης μπλοκάρεται στο αυστηρό προφίλ υπό την κατηγορία health και γίνεται δεκτή στο επιεικές προφίλ, χωρίς να αλλάζει ούτε μία γραμμή κειμένου.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderates text and makes a decision based on the profile."""
# Call to moderation API
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Apply profile thresholds
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Test with different profiles
text = "Take 2 paracetamol tablets every 6 hours"
# Strict profile: likely blocked (health)
result_strict = moderate_and_decide(text, "strict")
# Permissive profile: likely accepted
result_permissive = moderate_and_decide(text, "permissive")
Δυναμική Προσαρμογή Κατωφλίων
Σε περιβάλλον παραγωγής, τα κατώφλιά σας πρέπει να εξελίσσονται, και εσείς καθοδηγείτε αυτή την εξέλιξη με δεδομένα. Ο παρακάτω μηχανισμός παρακολούθησης γράφει κάθε απόφαση σε ένα αρχείο JSONL και διατηρεί μετρητές για μπλοκαρίσματα, προειδοποιήσεις και επιτυχείς διελεύσεις, ανά κατηγορία. Η προκύπτουσα αναφορά σας δίνει τον ρυθμό μπλοκαρίσματος ανά κατηγορία—τη μοναδική μετρική που σας λέει εάν ένα κατώφλι είναι πολύ χαμηλό.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Collects moderation metrics to adjust thresholds."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Logs a moderation decision."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Update counters
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Generates a report to adjust thresholds."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Παγίδες προς Αποφυγή
Η πρώτη παγίδα είναι ένα ενιαίο κατώφλι που εφαρμόζεται σε όλες τις κατηγορίες. Κάθε κατηγορία έχει τη δική της κατανομή βαθμολογιών: ένα κατώφλι 0.3 για το hate_and_discrimination δεν σημαίνει το ίδιο πράγμα με το 0.3 για το health, όπου το νόμιμο περιεχόμενο φυσικά βρίσκεται υψηλότερα στην κλίμακα. Προσαρμόστε κάθε κατηγορία ξεχωριστά, ακόμα κι αν αυτό σημαίνει να λάβετε έντεκα αποφάσεις αντί για μία.
Η δεύτερη είναι η αγνόηση των ψευδώς θετικών αποτελεσμάτων. Ένας υψηλός ρυθμός μπλοκαρίσματος διαβρώνει την εμπιστοσύνη των χρηστών πολύ γρηγορότερα από ένα μεμονωμένο περιστατικό, επειδή επηρεάζει άτομα που ενεργούν καλόπιστα. Παρακολουθήστε τον ρυθμό μπλοκαρίσματος ανά κατηγορία και αυξήστε τα κατώφλια όταν τα δεδομένα το δικαιολογούν.
Η τρίτη, πιο ύπουλη, είναι η αποτυχία καταγραφής των αποφάσεων. Χωρίς αρχεία καταγραφής, δεν μπορείτε να προσαρμόσετε τα κατώφλιά σας με τεκμηριωμένο τρόπο και επιστρέφετε σε συζητήσεις βασισμένες σε απόψεις. Καταγράφετε συστηματικά τις βαθμολογίες, τα εφαρμοσμένα κατώφλια και τις αποφάσεις που ελήφθησαν—αυτό το σώμα δεδομένων είναι αυτό που θα κάνει την επόμενη αναθεώρηση γρήγορη και αδιαμφισβήτητη.
Βασικά σημεία
- Οι βαθμολογίες κυμαίνονται από 0.0 έως 1.0· δεν είναι βαθμονομημένες πιθανότητες και η Mistral ενθαρρύνει τον ορισμό των δικών σας κατωφλίων
- Ορίστε προφίλ κατωφλίων προσαρμοσμένα στο πλαίσιο σας (αυστηρό, ισορροπημένο, επιεικές)
- Υλοποιήστε ένα σύστημα 3 επιπέδων: ασφαλές, προειδοποίηση, μπλοκαρισμένο
- Καταγράφετε όλες τις αποφάσεις για συνεχή προσαρμογή των κατωφλίων σας
- Κάθε κατηγορία απαιτεί το δικό της κατώφλι—καμία ενιαία τιμή δεν ταιριάζει σε όλες