Το API Διαχείρισης Περιεχομένου (Moderation API) της Mistral
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026. Το παράδειγμα απόκρισης περιλάμβανε προηγουμένως κλειδιά που δεν υπάρχουν (
hate,violence,unpredictable)· πλέον αντικατοπτρίζει τις έντεκα κατηγορίες τουmistral-moderation-2603. Η τελική ροή εργασιών χρησιμοποιούσε προηγουμένως μια εφευρεμένη μορφή δικλείδας ασφαλείας (enabled) και ανίχνευε τους αποκλεισμούς αναζητώντας το “403” στο μήνυμα σφάλματος: πλέον ακολουθεί την επίσημη μορφή και ελέγχει τοe.status_code. Η παρουσίαση του μοντέλου τηρεί το επίσημο δελτίο δεδομένων του, και το μάθημα εισάγει το Shieldstral 1.0, το μοντέλο διαχείρισης περιεχομένου σε δημόσια προεπισκόπηση από τον Αύγουστο του 2026. Κώδικας επαληθευμένος έναντι των τύπων SDKmistralaiέκδοσης 3.7.0. Πηγές: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.
Ταξινόμηση περιεχομένου μετά τη δημιουργία
Οι δικλείδες ασφαλείας (guardrails) φιλτράρουν τις εισερχόμενες εντολές (prompts). Τι συμβαίνει όμως με το περιεχόμενο που δημιουργείται από το μοντέλο; Μια αθώα ερώτηση μπορεί να παράγει μια προβληματική απάντηση: μια ερώτηση μαθητή γυμνασίου για τον Β’ Παγκόσμιο Πόλεμο θα μπορούσε να οδηγήσει σε μια περιγραφή που δεν θέλετε να εμφανίσετε χωρίς επιφυλάξεις. Αυτός είναι ο ρόλος του Moderation API: να αναλύει το περιεχόμενο εκ των υστέρων και να αποδίδει βαθμολογίες κινδύνου ανά κατηγορία.
Το Moderation API αποτελεί τη δεύτερη γραμμή άμυνάς σας· συμπληρώνει τις δικλείδες ασφαλείας για τη δημιουργία μιας ολοκληρωμένης αρχιτεκτονικής ασφαλείας, με μια σημαντική διαφορά: δεν αποκλείει τίποτα μόνο του· σας ενημερώνει.
Το μοντέλο Mistral Moderation 2
Το αφιερωμένο μοντέλο διαχείρισης περιεχομένου ονομάζεται mistral-moderation-2603 (Mistral Moderation 2, έκδοση Μαρτίου 2026). Πρόκειται για έναν εξειδικευμένο ταξινομητή, διακριτό από τα μοντέλα δημιουργίας: δεν γράφει κείμενο, αποδίδει βαθμολογίες. Το επίσημο δελτίο δεδομένων του επισημαίνει ένα παράθυρο συμφραζομένων 128.000 token, ανίχνευση παραβίασης περιορισμών (jailbreak) και ισχυρή απόδοση σε πολύγλωσσο περιεχόμενο υψηλής πολυπλοκότητας, συμπεριλαμβανομένων μεγάλων συνομιλιών. Αντικαθιστά το mistral-moderation-2411, το οποίο αποσύρθηκε στις 31 Μαρτίου 2026.
Βαθμολογεί κάθε κείμενο σε 11 κατηγορίες, με βαθμολογία από 0.0 έως 1.0 ανά κατηγορία. Δέχεται δύο λειτουργίες εισόδου, απλό κείμενο ή συνομιλιακό, και η επιλογή μεταξύ τους επηρεάζει την ποιότητα των αποτελεσμάτων περισσότερο από όσο ίσως νομίζετε.
Ένα δεύτερο μοντέλο διαχείρισης περιεχομένου υπάρχει από τις 4 Αυγούστου 2026, σε δημόσια προεπισκόπηση: το Shieldstral 1.0. Λειτουργεί διαφορετικά: συμπαγές (3,8 δισεκατομμύρια παράμετροι) και πολυτροπικό, ταξινομεί κείμενα και εικόνες με βάση ερωτήσεις πολιτικής διατυπωμένες σε φυσική γλώσσα, απαντώντας ναι ή όχι. Τα βάρη του δημοσιεύονται υπό την άδεια Apache 2.0, επιτρέποντας την αυτο-φιλοξενία. Εφόσον παραμένει σε προεπισκόπηση, το mistral-moderation-2603 παραμένει το μοντέλο παραγωγής και είναι αυτό που χρησιμοποιείται για τις δικλείδες ασφαλείας.
Το σημείο τελικού χρήστη /v1/moderations
Η λειτουργία απλού κειμένου είναι η απλούστερη: στέλνετε ένα ή περισσότερα κείμενα προς ταξινόμηση, χωρίς πρόσθετο πλαίσιο αναφοράς.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Διαχείριση απλού κειμένου
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Text to analyze for moderation"]
)
# Πρόσβαση στα αποτελέσματα
for result in response.results:
print(f"Categories: {result.categories}")
print(f"Scores: {result.category_scores}")
Για τη διαχείριση πλήρων ανταλλαγών, ερώτησης και απάντησης μαζί, η συνομιλιακή λειτουργία παρέχει στον ταξινομητή αυτό που του έλειπε: τη ροή της συζήτησης.
# Διαχείριση πλήρους συνομιλίας
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "How do I treat a headache?"},
{"role": "assistant", "content": "Take 1g of paracetamol..."}
]
]
)
# Ο ταξινομητής αξιολογεί το πλήρες πλαίσιο
for result in response.results:
print(f"Health score: {(result.category_scores or {}).get('health', 0)}")
Η συνομιλιακή λειτουργία, η οποία καλεί το σημείο τελικού χρήστη /v1/chat/moderations, είναι αυτή που προτείνει η Mistral για μια ανταλλαγή: το μοντέλο έχει εκπαιδευτεί να ταξινομεί την τελευταία στροφή της συνομιλίας λαμβάνοντας υπόψη τις προηγούμενες. Για να διαχειριστείτε την απάντηση του βοηθού σας, τοποθετήστε την τελευταία. Η λίστα με λίστες στο παράδειγμα επιτρέπει την αποστολή πολλαπλών συνομιλιών ταυτόχρονα· μια απλή λίστα μηνυμάτων αρκεί για μία μόνο. Έτσι, το ίδιο κείμενο μπορεί να λάβει διαφορετική βαθμολογία ανάλογα με το αν απαντά σε ένα νόμιμο ή κακόβουλο ερώτημα—μια δοσολογία που αναφέρεται ως απάντηση σε αίτημα πληροφοριών δεν έχει την ίδια υπόσταση με την ίδια δοσολογία που παρεμβάλλεται σε μια ανταλλαγή σχετικά με επικίνδυνη αυτοθεραπεία.
Δομή απόκρισης
Για κάθε αναλυόμενο κείμενο, η απόκριση περιέχει δύο παράλληλα μπλοκ: categories, boolean τιμές που υπολογίζονται με κατώφλια που ορίζει η Mistral βάσει του εσωτερικού συνόλου δοκιμών της, και category_scores, τις ακατέργαστες βαθμολογίες από 0.0 έως 1.0. Το παρακάτω παράδειγμα είναι επεξηγηματικό, με στρογγυλοποιημένες τιμές· ορισμένα παραδείγματα τεκμηρίωσης εμφανίζουν ακόμη τις εννέα κατηγορίες του παλιού μοντέλου, όπου το dangerous_and_criminal_content συνδύαζε τα dangerous και criminal. Εσείς θα χρησιμοποιήσετε τα τελευταία, διότι σας επιτρέπουν να ορίσετε τα δικά σας όρια.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
Σε αυτό το παράδειγμα, μόνο το health σημειώνεται ως true, με 0.72. Ένας βοηθός απευθυνόμενος σε καταναλωτές θα το έβλεπε ως σήμα αποκλεισμού· ένα εργαλείο προορισμένο για φαρμακοποιούς θα το άφηνε να περάσει χωρίς δισταγμό. Η ίδια βαθμολογία, δύο αντίθετες αποφάσεις, και γι’ αυτό ακριβώς εργάζεστε με βαθμολογίες και όχι με boolean τιμές.
Διαχείριση πολλαπλών κειμένων σε παρτίδα (Batch)
Το API δέχεται πολλαπλά κείμενα σε ένα μόνο αίτημα, κάτι που αλλάζει τα πάντα για την επεξεργασία παρτίδων: η αναδρομική ανάλυση ενός ιστορικού συνομιλίας ή μιας βάσης δεδομένων σχολίων γίνεται μια λογική λειτουργία όσον αφορά τον αριθμό των κλήσεων.
# Διαχείριση πολλαπλών κειμένων σε ένα μόνο αίτημα
texts = [
"First text to analyze",
"Second text to analyze",
"Third text to analyze"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Κάθε κείμενο έχει το δικό του αποτέλεσμα
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")
Δικλείδες ασφαλείας έναντι Moderation API: πότε να χρησιμοποιήσετε τι
| Πτυχή | Προσαρμοσμένες Δικλείδες Ασφαλείας (Custom Guardrails) | Moderation API |
|---|---|---|
| Χρονισμός | ΠΡΙΝ τη δημιουργία | ΜΕΤΑ τη δημιουργία |
| Ενέργεια | Αποκλείει αυτόματα (403) | Επιστρέφει βαθμολογίες (αποφασίζετε εσείς) |
| Έλεγχος | Τα δικά σας κατώφλια ανά κατηγορία, που εφαρμόζονται από τη Mistral | Ακατέργαστες βαθμολογίες, ελεύθερη λογική |
| Κλήση | Παράμετρος του αιτήματος δημιουργίας | Ξεχωριστή κλήση στο /v1/moderations |
| Περίπτωση χρήσης | Φιλτράρισμα επικίνδυνων εντολών | Ταξινόμηση απαντήσεων |
Παράδειγμα: πλήρης ροή εργασιών
Η παρακάτω ροή εργασιών δείχνει την αλληλουχία των δύο μηχανισμών. Η δημιουργία προστατεύεται από μια δικλείδα ασφαλείας εστιασμένη στην παραβίαση περιορισμών (jailbreaking)· η απάντηση στη συνέχεια ταξινομείται μαζί με την ερώτηση που την παρήγαγε και μια προσαρμοσμένη απόφαση παρεμβαίνει μόλις μια βαθμολογία υπερβεί το 0.5. Σημειώστε ότι τα δύο βήματα επιστρέφουν διακριτές καταστάσεις—blocked_input και blocked_output—ώστε τα αρχεία καταγραφής σας να δείχνουν ξεκάθαρα πού σταμάτησε το αίτημα.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Ροή εργασιών με δικλείδες ασφαλείας (είσοδος) και διαχείριση περιεχομένου (έξοδος)."""
# Βήμα 1: δημιουργία με δικλείδες ασφαλείας
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# Βήμα 2: διαχείριση της εξόδου, στο πλαίσιο της ερώτησης
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Βασικά σημεία
- Το Moderation API χρησιμοποιεί το μοντέλο
mistral-moderation-2603για την ταξινόμηση περιεχομένου - Διατίθενται δύο λειτουργίες: απλό κείμενο και συνομιλιακό
- Οι βαθμολογίες κυμαίνονται από 0.0 έως 1.0—εσείς ορίζετε τα δικά σας κατώφλια απόφασης
- Η συνομιλιακή λειτουργία είναι πιο ακριβής επειδή λαμβάνει υπόψη το πλαίσιο
- Συνδυάστε δικλείδες ασφαλείας (είσοδος) + διαχείριση περιεχομένου (έξοδος) για άμυνα σε βάθος