Οι 11 Κατηγορίες Δια moderation
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026. Ο προηγούμενος πίνακας κατηγοριών ανέφερε τρία ανύπαρκτα κλειδιά (
hate,violence,unpredictable) και παρέλειπε τοdangerous. Τα έντεκα κλειδιά παρακάτω αντικατοπτρίζουν τοmistral-moderation-2603, βάσει της τεκμηρίωσης και των τύπων του SDKmistralai3.7.0· οι περιγραφές ακολουθούν τους ορισμούς της Mistral. Οι τιμές εξόδου που παρουσιάζονταν ως μετρήσιμα δεδομένα ήταν επεξηγηματικά παραδείγματα και πλέον επισημαίνονται ρητά ως τέτοια. Πηγές: Moderation & Guardrailing · Mistral Moderation 2411 (αποσυρμένο μοντέλο).
Κατανόηση των Κατηγοριών Κινδύνου
Το μοντέλο Mistral Moderation αναλύει το περιεχόμενο σε 11 διακριτές κατηγορίες. Κάθε κατηγορία καλύπτει έναν συγκεκριμένο τύπο κινδύνου και επιστρέφει μια ανεξάρτητη βαθμολογία μεταξύ 0.0 και 1.0. Η ακριβής κατανόηση του τι ανιχνεύει η κάθε κατηγορία είναι απαραίτητη για τον καθορισμό ουσιαστικών ορίων (thresholds). Χωρίς αυτή τη σαφήνεια, απλώς μαντεύετε αριθμούς και αναρωτιέστε γιατί το περιεχόμενο αποκλείεται απροσδόκητα.
Ο παρακάτω πίνακας παρέχει το ακριβές κλειδί API για κάθε κατηγορία, τι καλύπτει και ποιους τύπους περιπτώσεων εντοπίζει στην πράξη.
| Κατηγορία | Κλειδί API | Τι περιλαμβάνει η Mistral |
|---|---|---|
| Σεξουαλικό περιεχόμενο | sexual | Ρητά περιγραφόμενες ή προωθούμενες σεξουαλικές δραστηριότητες, γυμνό ή σεξουαλικές υπηρεσίες· το μη ρητό εκπαιδευτικό ή ιατρικό περιεχόμενο γενικά εξαιρείται |
| Μίσος και διακρίσεις | hate_and_discrimination | Προκαταλήψεις, εχθρότητα ή προτροπές για διακρίσεις βάσει προστατευόμενων χαρακτηριστικών, συμπεριλαμβανομένης της παρενόχλησης |
| Βία και απειλές | violence_and_threats | Περιγραφόμενη, εξυμνημένη, υποκινούμενη ή απειλούμενη σωματική βία, καθώς και οδηγίες για την τέλεσή της |
| Επικίνδυνο περιεχόμενο | dangerous | Εξαιρετικά επικίνδυνες συμπεριφορές με υψηλό κίνδυνο σωματικής βλάβης |
| Εγκληματικές δραστηριότητες | criminal | Περιγραφόμενες ή προωθούμενες παράνομες δραστηριότητες |
| Αυτοτραυματισμός | selfharm | Αυτοτραυματισμός, αυτοκτονία, διατροφικές διαταραχές: μέθοδοι, εξύμνηση, πρόθεση, επικίνδυνες προκλήσεις |
| Υγεία | health | Αιτήματα για ή παροχή λεπτομερών ή εξατομικευμένων ιατρικών συμβουλών |
| Οικονομικά | financial | Αιτήματα για ή παροχή λεπτομερών ή εξατομικευμένων οικονομικών συμβουλών |
| Νομικά | law | Αιτήματα για ή παροχή λεπτομερών ή εξατομικευμένων νομικών συμβουλών |
| Προσωπικά δεδομένα | pii | Αιτήματα, κοινοποίηση ή απόπειρες απόκτησης αναγνωριστικών δεδομένων: ονοματεπώνυμο, διεύθυνση, τηλέφωνο, αριθμός κοινωνικής ασφάλισης, τραπεζικά στοιχεία |
| Jailbreak | jailbreaking | Απόπειρες παράκαμψης των κανόνων του μοντέλου μέσω χειρισμού prompt, ρόλων (role-playing) ή άλλων τεχνικών |
Οι κατηγορίες dangerous, criminal και jailbreaking εισήχθησαν με το mistral-moderation-2603. Το προηγούμενο μοντέλο, mistral-moderation-2411, το οποίο αποσύρθηκε στις 31 Μαρτίου 2026, συνδύαζε τις δύο πρώτες υπό ένα ενιαίο κλειδί, dangerous_and_criminal_content, και δεν ανίχνευε τα jailbreaks. Ορισμένα παραδείγματα αποκρίσεων στην τεκμηρίωση εμφανίζουν ακόμη αυτή την παλαιότερη ανάλυση: διαβάζετε πάντα τα κλειδιά που επιστρέφει το API αντί να τα υποθέτετε.
«Σκληρές» έναντι «Μαλακών» Κατηγοριών
Στην πράξη, αυτές οι 11 κατηγορίες εμπίπτουν σε δύο ομάδες με βάση την κρισιμότητά τους, και αυτή η διάκριση καθοδηγεί ολόκληρη τη στρατηγική των ορίων σας.
Σκληρές κατηγορίες — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal και selfharm — αντιπροσωπεύουν σοβαρούς κινδύνους όπου ένα ψευδώς αρνητικό αποτέλεσμα (αποτυχία ανίχνευσης επικίνδυνου περιεχομένου) μπορεί να έχει σοβαρές συνέπειες. Το σεξουαλικό περιεχόμενο ενέχει νομικό κίνδυνο και υποχρεώσεις προστασίας ανηλίκων· η ρητορική μίσους σας εκθέτει σε μείζονα ζημία φήμης και νομική ευθύνη· η βία περιλαμβάνει υποκίνηση και απειλές· οι κατηγορίες επικίνδυνου και εγκληματικού περιεχομένου καλύπτουν συμπεριφορές υψηλού κινδύνου και παράνομες δραστηριότητες· ο αυτοτραυματισμός αφορά την ασφάλεια των χρηστών και απειλητικές για τη ζωή καταστάσεις. Για αυτές τις έξι κατηγορίες, χαμηλά όρια 0.1 έως 0.2 δικαιολογούνται ανεξάρτητα από το προϊόν σας, και αποδέχεστε σκόπιμα ορισμένα ψευδώς θετικά αποτελέσματα.
Μαλακές κατηγορίες εξαρτώνται σε μεγάλο βαθμό από το πλαίσιο της εφαρμογής σας, με ρυθμιζόμενα όρια μεταξύ 0.3 και 0.8. Ένα νόμιμο chatbot υγείας χρειάζεται να συζητά θέματα health, μια fintech εφαρμογή απαιτεί συνομιλίες που καλύπτονται από το financial, ένας νομικός βοηθός διαχειρίζεται απαραίτητα το law, και ορισμένες εφαρμογές συλλέγουν νόμιμα δεδομένα που εμπίπτουν στο pii. Μια περίπτωση διαφέρει: το jailbreaking δεν εξαρτάται από το θέμα αλλά από την πρόθεση χειρισμού του μοντέλου και παραμένει κρίσιμο για οποιαδήποτε εφαρμογή ανοιχτή στο κοινό.
Ανάλυση Βαθμολογιών σε Python
Η ακόλουθη συνάρτηση μετατρέπει μια raw κλήση API σε μια ευανάγνωστη ετυμηγορία: απομονώνει τις κατηγορίες που υπερβαίνουν το 0.3, εντοπίζει τη μέγιστη βαθμολογία και την κατηγορία της, και επιστρέφει έναν δείκτη safe που μπορείτε να χρησιμοποιήσετε απευθείας στη λογική της εφαρμογής σας.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Ανάλυση κειμένου και επιστροφή κατηγοριών κινδύνου."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Διαχωρισμός κατηγοριών κινδύνου
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
Το category_scores είναι προαιρετικό στο SDK, εξ ου και το or {}. Εκτελέστε και τα δύο παραδείγματα στον λογαριασμό σας: ο χαιρετισμός θα πρέπει να παραμείνει πολύ χαμηλός σε όλα τα μέτωπα, ενώ η ερώτηση δοσολογίας θα πρέπει να παρουσιάσει αιχμή στο health. Αυτό δεν είναι «επικίνδυνο» περιεχόμενο με την κοινή έννοια—είναι περιεχόμενο για το οποίο πρέπει εσείς να αποφασίσετε αν εμπίπτει στο πεδίο εφαρμογής σας.
Πολλαπλές Κατηγορίες: Ένα Κείμενο Μπορεί να Ενεργοποιήσει Πολλές Ειδοποιήσεις
Ένα ενιαίο κείμενο μπορεί να έχει υψηλές βαθμολογίες σε πολλαπλές κατηγορίες ταυτόχρονα—ένα αίτημα βοήθειας για φορολογική απάτη θα χτυπήσει τα criminal, financial και law όλα μαζί. Η λογική απόφασής σας πρέπει να λαμβάνει υπόψη αυτή την πολλαπλότητα και, πάνω απ’ όλα, να θέτει προτεραιότητες: η παρακάτω συνάρτηση ταξινομεί τις παραβιάσεις βάσει του μεγέθους της υπέρβασης του ορίου, λέγοντάς σας ποια κατηγορία οδήγησε πραγματικά στον αποκλεισμό.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Αξιολόγηση συνολικού κινδύνου λαμβάνοντας υπόψη όλες τις κατηγορίες."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Διαμόρφωση ανά προφίλ
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Το προφίλ strict_thresholds ακολουθεί ακριβώς τη λογική σκληρών/μαλακών που περιγράφηκε παραπάνω: όρια 0.1 έως 0.15 στις έξι κρίσιμες κατηγορίες και το jailbreak, ανοχή στο 0.3 για τους τομείς που εξαρτώνται από το πλαίσιο. Διατηρήστε αυτή τη δομή ως σημείο εκκίνησης και τεκμηριώστε τυχόν αποκλίσεις που εισάγετε.
Βασικά σημεία
- Το
mistral-moderation-2603αναλύει το περιεχόμενο σε 11 κατηγορίες με σταθερά κλειδιά· ταhate,violenceήunpredictableδεν υπάρχουν - Κάθε κατηγορία επιστρέφει μια βαθμολογία από 0.0 έως 1.0
- Οι «Σκληρές» κατηγορίες (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) απαιτούν χαμηλά όρια - Οι «Μαλακές» κατηγορίες (health, financial, law) προσαρμόζονται βάσει του πλαισίου της εφαρμογής σας
- Ένα ενιαίο κείμενο μπορεί να ενεργοποιήσει πολλαπλές κατηγορίες ταυτόχρονα
- Χρησιμοποιήστε raw βαθμολογίες (
category_scores) αντί για προεπιλεγμένεςboolean τιμές