Ορίστε την Πολιτική Περιεχομένου σας
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026. Οι προηγούμενες πολιτικές χρησιμοποιούσαν τρεις ανύπαρκτες κατηγορίες (
hate,violence,unpredictable) και παρέλειπαν τηνdangerous. Τώρα ευθυγραμμίζονται με τα έντεκα κλειδιά από τοmistral-moderation-2603. Μια μέθοδος μετατρέπει πλέον μια πολιτική στην επίσημη μορφή παραμέτρουguardrails, διασφαλίζοντας την εφαρμογή συνεπών ορίων πριν από τη δημιουργία. Πηγές: Moderation & Guardrailing ·mistralaiSDK 3.7.0.
Γιατί Χρειάζεστε μια Επίσημη Πολιτική Περιεχομένου
Τα όρια δια moderation δεν είναι αυθαίρετες τεχνικές επιλογές. Αντανακλούν μια πολιτική περιεχομένου—ένα σύνολο κανόνων που ορίζει τι επιτρέπει και τι απαγορεύει η εφαρμογή σας. Χωρίς μια επίσημη πολιτική, κάθε προγραμματιστής λαμβάνει τις δικές του αποφάσεις και το σύστημα ασφαλείας σας χάνει τη συνοχή του: δύο υπηρεσίες μέσα στην ίδια εταιρεία καταλήγουν να μπλοκάρουν διαφορετικό περιεχόμενο, χωρίς κανείς να γνωρίζει το γιατί.
Μια γραπτή πολιτική σάς επιτρέπει να δικαιολογείτε τις αποφάσεις δια moderation τόσο στους χρήστες όσο και στις ρυθμιστικές αρχές, να εναρμονίζετε τα όρια μεταξύ ομάδων και εφαρμογών, να ελέγχετε τη συμμόρφωση του συστήματος και να επαναλαμβάνετε τη διαδικασία με δομημένο τρόπο καθώς αλλάζουν οι ανάγκες. Την ημέρα που ένας χρήστης αμφισβητήσει έναν αποκλεισμό, η διαφορά μεταξύ «το όριο έχει οριστεί στο 0,1» και «η Δημόσια Πολιτική μας v1.2 ορίζει αυτό το όριο για τον εξής λόγο» είναι τεράστια.
Προσαρμογή Ορίων στο Πλαίσιο της Εφαρμογής
Το ίδιο περιεχόμενο μπορεί να είναι αποδεκτό σε ένα πλαίσιο και επικίνδυνο σε ένα άλλο. Η πολιτική σας πρέπει να αντικατοπτρίζει αυτές τις αποχρώσεις. Ο καλύτερος τρόπος για να επιτευχθεί αυτό είναι να περιγράφετε κάθε προφίλ ως ένα ονοματισμένο, χρονολογημένο και τεκμηριωμένο αντικείμενο, αντί για ένα ανώνυμο λεξικό χαμένο στον κώδικα.
Για ένα chatbot προσβάσιμο στο κοινό, ο κανόνας είναι απλός: αυστηρότητα παντού, με την ασφάλεια ως προτεραιότητα. Δεν γνωρίζετε τίποτα για το άτομο στην άλλη άκρη και ενδέχεται να υπάρχουν ανήλικοι.
# Policy: Strict on everything, safety first
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Chatbot accessible to all, including minors",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Ένας εσωτερικός βοηθός αλλάζει τα δεδομένα σε ένα σημείο: οι χρήστες είναι πιστοποιημένοι, που σημαίνει ότι είναι αναγνωρίσιμοι και υπόλογοι. Αυτό επιτρέπει πιο ευέλικτα όρια, ιδιαίτερα στα financial και law που ορίζονται στο 0,6, καθώς ένας υπάλληλος που ρωτά τον βοηθό για τη δομή μιας σύμβασης απλώς κάνει τη δουλειά του.
# Policy: Balanced, identified users
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Assistant for authenticated employees",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Ένα εξειδικευμένο εργαλείο—ιατρικό, νομικό ή οικονομικό—οδηγεί αυτή τη λογική στο έπακρο: πολύ επιτρεπτικό εντός του τομέα του, αυστηρό παντού αλλού. Στο ιατρικό παράδειγμα, το health ανεβαίνει στο 0,85 επειδή η συζήτηση διαγνώσεων είναι ακριβώς η λειτουργία του εργαλείου, ενώ το pii πέφτει στο 0,15 επειδή τα δεδομένα ασθενών δεν πρέπει ποτέ να κυκλοφορούν. Εδώ προστίθενται δύο στοιχεία που έλειπαν από τις προηγούμενες πολιτικές: μια λειτουργία αποκλεισμού με ανακατεύθυνση και μια ρητή αποποίηση ευθύνης.
# Policy: Permissive on domain, strict elsewhere
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Tool for healthcare professionals",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Very permissive: legitimate domain
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Strict: patient data
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "This tool does not replace medical advice."
}
Τυποποίηση της Πολιτικής ως Έγγραφο
Η πολιτική περιεχομένου σας πρέπει να είναι ένα εκδοσιοποιημένο έγγραφο προσβάσιμο σε όλες τις ομάδες. Στην Python, αυτό μεταφράζεται σε μια κλάση που φέρει τον αριθμό έκδοσης και την ημερομηνία αναθεώρησης μαζί με τα όρια, και που μπορεί τόσο να αξιολογεί βαθμολογίες όσο και να δημιουργεί το μήνυμα αποκλεισμού που αντιστοιχεί στη δηλωμένη λειτουργία.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""Structured representation of a content policy."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Evaluates scores against the policy."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Generates an appropriate blocking message."""
if self.block_action == "generic_message":
return "This content cannot be processed."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"Content blocked for the following reasons: "
f"{cats}. Please rephrase your request.")
return "Content blocked."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""Translates the policy into the guardrails parameter for the Mistral API."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
Η μέθοδος to_guardrails καθιστά την πολιτική την μοναδική πηγή αλήθειας για τα guardrails: client.chat.complete(..., guardrails=policy.to_guardrails()) ή client.beta.agents.create(..., guardrails=policy.to_guardrails()). Τα όρια που εφαρμόζονται πριν και μετά τη δημιουργία δεν μπορούν πλέον να αποκλίνουν.
Σημειώστε επίσης ότι το αποτέλεσμα του evaluate περιλαμβάνει το όνομα και την έκδοση της εφαρμοζόμενης πολιτικής. Αυτή η λεπτομέρεια σάς επιτρέπει, έξι μήνες αργότερα, να επαναλάβετε μια αμφισβητούμενη απόφαση γνωρίζοντας ακριβώς υπό ποιο καθεστώς ελήφθη.
Διαχείριση Πολλαπλών Εφαρμογών
Εάν η εταιρεία σας διαχειρίζεται πολλαπλές εφαρμογές, κεντροποιήστε τη διαχείριση των πολιτικών. Ο διαχειριστής παρακάτω κάνει δύο χρήσιμα πράγματα: αρνείται ρητά να εξυπηρετήσει μια εφαρμογή χωρίς δηλωμένη πολιτική, αποτρέποντας αναπτύξεις χωρίς δίχτυα ασφαλείας, και παράγει μια αναφορά συμμόρφωσης πουαναφέρει την έκδοση και την τελευταία ημερομηνία αναθεώρησης κάθε εφαρμογής—ακριβώς αυτό που θα ζητήσει ένας ελεγκτής.
class PolicyManager:
"""Manages content policies for multiple applications."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Registers a policy for an application."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Retrieves the policy for an application."""
if app_id not in self.policies:
raise ValueError(f"No policy for {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Generates a global compliance report."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Usage
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Αναθεώρηση και Ενημερώσεις
Η πολιτική σας δεν είναι χαραγμένη σε πέτρα. Το πιο συνηθισμένο λάθος είναι να τη γράφετε μία φορά και μετά να την ξεχνάτε. Καθιερώστε έναν ρυθμό: κάθε εβδομάδα, αναλύστε τα ψευδώς θετικά και ψευδώς αρνητικά αποτελέσματα που αναφέρονται στα αρχεία καταγραφής σας· κάθε μήνα, προσαρμόστε τα όρια με βάση τα συσσωρευμένα μετρικά· κάθε τρίμηνο, διεξάγετε μια πλήρη αναθεώρηση με ενδιαφερόμενα μέρη από τον επιχειρηματικό, νομικό και προϊοντικό τομέα. Προσθέστε σε αυτό έναν αδιαπραγμάτευτο κανόνα: μετά από κάθε περιστατικό, πραγματοποιήστε μια ανάλυση post-mortem και εφαρμόστε μια άμεση διόρθωση, χωρίς να περιμένετε την επόμενη προγραμματισμένη αναθεώρηση.
Βασικά σημεία
- Μια πολιτική περιεχομένου μεταφράζει τα τεχνικά σας όρια σε επιχειρηματικούς κανόνες
- Προσαρμόστε τα όρια στο πλαίσιο: προσβάσιμο στο κοινό, εσωτερικό, εξειδικευμένο
- Τυποποιήστε την πολιτική σε ένα εκδοσιοποιημένο έγγραφο
- Κεντροποιήστε τη διαχείριση εάν έχετε πολλαπλές εφαρμογές
- Αναθεωρείτε τακτικά—η πολιτική πρέπει να εξελίσσεται μαζί με το προϊόν σας