Πλήρης Αρχιτεκτονική Ασφαλείας
Σε αυτήν τη σελίδα
Ενημερώθηκε στις 3 Νοεμβρίου 2026. Το στρώμα παραγωγής προηγούμενα περνούσε μια εφευρεμένη μορφή guardrails (
enabled), και η πολιτική παραγωγής χρησιμοποιούσε ανύπαρκτες κατηγορίες (hate,violence,unpredictable). Ο κώδικας ακολουθεί πλέον την επίσημη μορφήmoderation_llm_v2και τα έντεκα κλειδιά από τοmistral-moderation-2603. Οι βαθμολογίες, οι οποίες είναι προαιρετικές στο SDK, διαβάζονται με τιμή εφεδρείας (fallback). Κώδικας επαληθεύτηκε έναντι των τύπων SDKmistralaiέκδοσης 3.7.0. Πηγές: Moderation & Guardrailing · Python SDK mistralai.
Συναρμολόγηση όλων των κομματιών
Σε όλη τη διάρκεια αυτού του μαθήματος, εξερευνήσατε τα guardrails, το API Moderation, τις 11 κατηγορίες, τα κατώφλια, την ανίχνευση jailbreak, τη συμμόρφωση με τον GDPR και τις πολιτικές περιεχομένου. Αυτό το τελικό μάθημα συναρμολογεί όλα αυτά τα δομικά στοιχεία σε μια πλήρη αρχιτεκτονική ασφαλείας έτοιμη για παραγωγή.
Επισκόπηση Αρχιτεκτονικής
Υπάρχουν πέντε στρώματα, που καθοδηγούνται από μία αρχή: κανένα από αυτά δεν είναι αξιόπιστο από μόνο του. Ένα guardrail μπορεί να παρακαμφθεί με μια απροσδόκητη διατύπωση, ένα μοντέλο moderation έχει ψευδώς αρνητικά αποτελέσματα και μια πολιτική περιεχομένου δεν καλύπτει ποτέ κάθε περίπτωση. Η στοίβαξή τους λειτουργεί επειδή τα κενά δεν επικαλύπτονται—ό,τι ξεφεύγει από το πρώτο στρώμα έχει μεγάλες πιθανότητες να εντοπιστεί από το δεύτερο.
Η πρακτική συνέπεια είναι μια αυστηρή σειρά: κάθε στρώμα πρέπει να είναι όσο το δυνατόν πιο φθηνό πριν εκτελεστεί το επόμενο. Επικυρώνετε τη μορφή πριν καλέσετε ένα guardrail και καλείτε το guardrail πριν την παραγωγή—επειδή το περιεχόμενο που απορρίπτεται στο βήμα 1 καταναλώνει μηδενικά tokens.
User
↓
[1. Input Validation] → Regex, patterns, rate limiting
↓
[2. Mistral Guardrails] → Pre-generation blocking (403)
↓
[3. LLM Generation] → safe_prompt + secure instructions
↓
[4. Output Moderation] → Moderation API post-generation
↓
[5. Logging & Audit] → Scores, decisions, GDPR audit trail
↓
User Response
Πλήρης Υλοποίηση
from mistralai.client import Mistral
from mistralai.client.errors import SDKError
import os
import re
import json
import logging
from datetime import datetime, timezone
from enum import Enum
# Configuration
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
logging.basicConfig(level=logging.INFO)
logger = logging.getLogger("moderation")
class Decision(Enum):
ALLOWED = "allowed"
BLOCKED_INPUT = "blocked_input"
BLOCKED_GUARDRAIL = "blocked_guardrail"
BLOCKED_OUTPUT = "blocked_output"
ERROR = "error"
class SecureArchitecture:
"""Complete security architecture for AI applications."""
def __init__(self, policy: dict, model: str = "mistral-large-latest"):
self.policy = policy
self.model = model
self.stats = {d.value: 0 for d in Decision}
# --- Layer 1: Input Validation ---
def validate_input(self, text: str) -> dict:
"""Fast validation before any API call."""
# Maximum length
if len(text) > 10000:
return {"valid": False, "reason": "Message too long"}
# Suspicious characters (Unicode injections)
if re.search(r"[\x00-\x08\x0b\x0c\x0e-\x1f]", text):
return {"valid": False, "reason": "Invalid characters"}
# Obvious jailbreak patterns
patterns = [
r"ignore\s+(all\s+)?(previous|prior|above)",
r"you\s+are\s+now\s+(DAN|unfiltered)",
r"oublie\s+(toutes?\s+)?(tes|vos)\s+instructions",
r"system\s*prompt",
]
for pattern in patterns:
if re.search(pattern, text, re.IGNORECASE):
return {
"valid": False,
"reason": "Injection pattern detected"
}
return {"valid": True}
# --- Layer 2: Input Moderation ---
def moderate_input(self, text: str) -> dict:
"""Prompt moderation via API."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
violations = self._check_thresholds(scores)
return {
"allowed": len(violations) == 0,
"scores": scores,
"violations": violations
}
# --- Layer 3: Secure Generation ---
def generate(self, messages: list) -> str:
"""Generation with guardrails and safe_prompt."""
response = client.chat.complete(
model=self.model,
messages=messages,
safe_prompt=True,
guardrails=[
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.policy["thresholds"],
"action": "block",
},
}
],
)
content = response.choices[0].message.content
return content if isinstance(content, str) else ""
# --- Layer 4: Output Moderation ---
def moderate_output(self, prompt: str, response_text: str) -> dict:
"""Response moderation in context."""
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[[
{"role": "user", "content": prompt},
{"role": "assistant", "content": response_text}
]]
)
scores = response.results[0].category_scores or {}
violations = self._check_thresholds(scores)
return {
"allowed": len(violations) == 0,
"scores": scores,
"violations": violations
}
# --- Layer 5: Logging ---
def log_decision(self, decision: Decision, data: dict):
"""Records the decision for auditing."""
self.stats[decision.value] += 1
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"decision": decision.value,
"policy": self.policy["name"],
**data
}
logger.info(json.dumps(entry, ensure_ascii=False))
# --- Main Pipeline ---
def process(self, user_message: str,
system_prompt: str | None = None) -> dict:
"""Complete secure processing pipeline."""
# Layer 1: Validation
validation = self.validate_input(user_message)
if not validation["valid"]:
self.log_decision(Decision.BLOCKED_INPUT, {
"reason": validation["reason"]
})
return {
"status": Decision.BLOCKED_INPUT.value,
"message": "Your message cannot be processed."
}
# Layer 2: Input Moderation
check_input = self.moderate_input(user_message)
if not check_input["allowed"]:
self.log_decision(Decision.BLOCKED_INPUT, {
"violations": check_input["violations"]
})
return {
"status": Decision.BLOCKED_INPUT.value,
"message": "This content violates our policy."
}
# Layer 3: Generation
messages = []
if system_prompt:
messages.append({"role": "system",
"content": system_prompt})
messages.append({"role": "user",
"content": user_message})
try:
response_text = self.generate(messages)
except SDKError as e:
if e.status_code == 403:
self.log_decision(Decision.BLOCKED_GUARDRAIL, {})
return {
"status": Decision.BLOCKED_GUARDRAIL.value,
"message": "Request blocked by guardrails."
}
raise
# Layer 4: Output Moderation
check_output = self.moderate_output(user_message, response_text)
if not check_output["allowed"]:
self.log_decision(Decision.BLOCKED_OUTPUT, {
"violations": check_output["violations"]
})
return {
"status": Decision.BLOCKED_OUTPUT.value,
"message": "The response was filtered."
}
# Success
self.log_decision(Decision.ALLOWED, {
"input_max_score": max(check_input["scores"].values(), default=0.0),
"output_max_score": max(check_output["scores"].values(), default=0.0),
})
return {
"status": Decision.ALLOWED.value,
"content": response_text,
"moderation": {
"input": check_input["scores"],
"output": check_output["scores"]
}
}
# --- Utilities ---
def _check_thresholds(self, scores: dict) -> list:
"""Checks scores against policy thresholds."""
violations = []
for cat, threshold in self.policy["thresholds"].items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return violations
def report(self) -> dict:
"""Generates a statistics report."""
total = sum(self.stats.values())
return {
"policy": self.policy["name"],
"total_requests": total,
"decisions": self.stats,
"block_rate": round(
(self.stats["blocked_input"] +
self.stats["blocked_guardrail"] +
self.stats["blocked_output"]) / max(total, 1),
3
)
}
Χρήση σε Παραγωγή
# Define the policy
prod_policy = {
"name": "Production v1.2",
"thresholds": {
"sexual": 0.15, "hate_and_discrimination": 0.1, "violence_and_threats": 0.2,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1, "health": 0.4,
"financial": 0.4, "law": 0.4, "pii": 0.15,
"jailbreaking": 0.1
}
}
# Instantiate the architecture
arch = SecureArchitecture(prod_policy)
# Process requests
result = arch.process(
"Explain how transformers work",
system_prompt="You are an AI instructor."
)
print(result["status"]) # expected: "allowed"
print(result["content"])
# Consult statistics
print(arch.report())
Παρακολούθηση και Ειδοποιήσεις
Δύο μετρικές αρκούν για να καθοδηγήσετε ένα σύστημα moderation και πρέπει να τις παρακολουθείτε σε αντίθετες κατευθύνσεις. Το ποσοστό αποκλεισμού (block rate) πρέπει να παραμένει σταθερό: μια ξαφνική αύξηση σηματοδοτεί είτε μια επίθεση είτε ένα κατώφλι που είναι πολύ αυστηρό και αρχίζει να παρεμποδίζει τους νόμιμους χρήστες. Η κατανομή βαθμολογιών έχει εξίσου μεγάλη σημασία—εάν το περιεχόμενό σας συγκεντρώνεται ακριβώς κάτω από το κατώφλι, το κατώφλι είναι τοποθετημένο λανθασμένα και η επόμενη μικροαλλαγή από τους χρήστες σας θα το παραβιάσει.
def configure_alerts(arch: SecureArchitecture):
"""Configures alerts for monitoring."""
report = arch.report()
# Alert if block rate is abnormal
if report["block_rate"] > 0.15:
logger.warning(
f"High block rate: "
f"{report['block_rate']:.1%}"
)
# Alert if jailbreak spikes occur
# Integrate with Prometheus, Grafana, Datadog, etc.
Ανακεφαλαίωση Μαθήματος
Μέχρι το τέλος αυτού του μαθήματος, έχετε κατακτήσει:
- Προσαρμοσμένα Guardrails: Αποκλεισμός επικίνδυνων prompts πριν την παραγωγή, διαμόρφωση κατωφλίων ανά κατηγορία, εφαρμογή σε πράκτορες
- Moderation API: Κατηγοριοποίηση περιεχομένου με το Mistral Moderation 2, ερμηνεία βαθμολογιών στις 11 κατηγορίες, λήψη αυτοματοποιημένων αποφάσεων
- Ασφάλεια Παραγωγής: Ορισμός πολιτικών περιεχομένου, ανίχνευση ενέσεων prompt, διασφάλιση συμμόρφωσης με τον GDPR
- Πλήρης Αρχιτεκτονική: Συναρμολόγηση guardrails + moderation + παρακολούθηση σε έναν εύρωστο αγωγό
Διαθέτετε πλέον όλο τον κώδικα που χρειάζεστε για να αναπτύξετε ένα πλήρες σύστημα moderation AI με το Mistral API.
Βασικά σημεία
- Η αρχιτεκτονική ασφαλείας περιλαμβάνει 5 στρώματα: επικύρωση, guardrails, παραγωγή, moderation, καταγραφή
- Κάθε στρώμα αντισταθμίζει τις αδυναμίες των άλλων—αυτή είναι η άμυνα σε βάθος (defense in depth)
- Παρακολουθείτε το ποσοστό αποκλεισμού και τις βαθμολογίες στην παραγωγή
- Διατηρείτε την πολιτική σας ενημερωμένη με τακτικές αναθεωρήσεις
- Ο πλήρης κώδικας σε αυτό το μάθημα αποτελεί ένα σημείο εκκίνησης—προσαρμόστε τον στο δικό σας πλαίσιο
Δοκιμάστε τις Γνώσεις σας
Guardrails, moderation, injection: είναι ξεκάθαρη η αμυντική αρχιτεκτονική;
1. Πού παρεμβαίνουν τα προσαρμοσμένα guardrails;
Απάντηση: Πριν από το μοντέλο: φιλτράρουν τις εισόδους σύμφωνα με τους κανόνες σας (απαγορευμένα θέματα, μορφές)—το πρώτο στρώμα, το οποίο αποφεύγει ακόμη και την πραγματοποίηση της κλήσης όταν το αίτημα είναι εκτός εμβέλειας.
2. Τι καλύπτει το Mistral Moderation API;
Απάντηση: Έντεκα κατηγορίες επικίνδυνου περιεχομένου, με μια βαθμολογία ανά κατηγορία: τα κατώφλιά σας αποφασίζουν εάν θα αποκλείσουν, θα επισημάνουν ή θα επιτρέψουν—μετατρέποντας την πολιτική περιεχομένου σε κώδικα.
3. Πώς ορίζεται μια καλή πολιτική περιεχομένου;
Απάντηση: Με βάση τη χρήση: τι είναι αποδεκτό για την εφαρμογή, κατώφλια ανά κατηγορία, σχετικές ενέργειες (αποκλεισμός, ξαναγραφή, κλιμάκωση)—τεκμηριωμένες και δοκιμασμένες, όχι υπονοούμενες.
4. Πώς ανιχνεύετε απόπειρες ένεσης prompt (prompt injection);
Απάντηση: Θεωρώντας όλο το εξωτερικό περιεχόμενο ως ύποπτο: ανίχνευση μοτίβων οδηγιών στα δεδομένα, απομόνωση οδηγιών από δεδομένα, επικύρωση εξόδων—και εκτέλεση τακτικών επιθετικών δοκιμών.
5. Πώς φαίνεται η πλήρης αρχιτεκτονική ασφαλείας;
Απάντηση: Στρώματα: guardrails εισόδου, moderation περιεχομένου, έλεγχοι εξόδου, συμμόρφωση με τον GDPR (ελαχιστοποίηση, δικαιώματα) και ιχνηλασιμότητα—κανένα μεμονωμένο στρώμα δεν είναι τέλειο, αλλά η στοίβαξή τους αντισταθμίζει.
Η άμυνα σε βάθος δεν είναι ένα σύνθημα: κάθε στρώμα σε αυτό το μάθημα πιάνει ό,τι άφησε να περάσει το προηγούμενο.