Премини към основното съдържание
Български— Изберете език
Меню

Пълна архитектура за сигурност

Урок 12 от 12 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Сглобяване на всички части
  2. Преглед на архитектурата
  3. Пълна имплементация
  4. Използване в продукционна среда
  5. Мониторинг и предупреждения
  6. Обобщение на курса
  7. Ключови изводи
  8. Проверете знанията си

Обновено на 3 ноември 2026 г. Преди това слойът за генериране предаваше измислен формат за предпазни мерки (enabled), а продукционната политика използваше несъществуващи категории (hate, violence, unpredictable). Кодът вече следва официалния формат moderation_llm_v2 и единадесетте ключа от mistral-moderation-2603. Резултатите (scores), които са opcionални в SDK, се четат с резервна стойност. Кодът е верифициран спрямо типовете на SDK mistralai версия 3.7.0. Източници: Moderation & Guardrailing · Python SDK mistralai.

Сглобяване на всички части

През целия курс разгледахте предпазните мерки (guardrails), API за модериране, 11-те категории, праговете, откриването на пробиви (jailbreak), съответствието с GDPR и политиките за съдържание. Този финален урок сглобява всички тези градивни елементи в пълна архитектура за сигурност, готова за продукционна среда.

Преглед на архитектурата

Има пет слоя, водени от един принцип: никой от тях не е надежден сам по себе си. Предпазна мярка може да бъде заобиколена чрез неочаквано формулиране, моделът за модериране има фалшиво отрицателни резултати, а политиката за съдържание никога не покрива всеки случай. Наслагването им работи, защото пропуските не се припокриват – онова, което се промъкне през първия слой, има голям шанс да бъде хванато от втория.

Практическото следствие е строг ред: всеки слой трябва да бъде възможно най-евтин, преди да се стартира следващият. Валидирате формата, преди да извикате предпазна мярка, и извиквате предпазната мярка преди генерирането – защото съдържанието, отхвърлено на стъпка 1, консумира нула токени.

User
    ↓
[1. Input Validation] → Regex, patterns, rate limiting
    ↓
[2. Mistral Guardrails]  → Pre-generation blocking (403)
    ↓
[3. LLM Generation]      → safe_prompt + secure instructions
    ↓
[4. Output Moderation]   → Moderation API post-generation
    ↓
[5. Logging & Audit]     → Scores, decisions, GDPR audit trail
    ↓
User Response

Пълна имплементация

from mistralai.client import Mistral
from mistralai.client.errors import SDKError
import os
import re
import json
import logging
from datetime import datetime, timezone
from enum import Enum

# Configuration
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger("moderation")


class Decision(Enum):
    ALLOWED = "allowed"
    BLOCKED_INPUT = "blocked_input"
    BLOCKED_GUARDRAIL = "blocked_guardrail"
    BLOCKED_OUTPUT = "blocked_output"
    ERROR = "error"


class SecureArchitecture:
    """Complete security architecture for AI applications."""

    def __init__(self, policy: dict, model: str = "mistral-large-latest"):
        self.policy = policy
        self.model = model
        self.stats = {d.value: 0 for d in Decision}

    # --- Layer 1: Input Validation ---

    def validate_input(self, text: str) -> dict:
        """Fast validation before any API call."""
        # Maximum length
        if len(text) > 10000:
            return {"valid": False, "reason": "Message too long"}

        # Suspicious characters (Unicode injections)
        if re.search(r"[\x00-\x08\x0b\x0c\x0e-\x1f]", text):
            return {"valid": False, "reason": "Invalid characters"}

        # Obvious jailbreak patterns
        patterns = [
            r"ignore\s+(all\s+)?(previous|prior|above)",
            r"you\s+are\s+now\s+(DAN|unfiltered)",
            r"oublie\s+(toutes?\s+)?(tes|vos)\s+instructions",
            r"system\s*prompt",
        ]
        for pattern in patterns:
            if re.search(pattern, text, re.IGNORECASE):
                return {
                    "valid": False,
                    "reason": "Injection pattern detected"
                }

        return {"valid": True}

    # --- Layer 2: Input Moderation ---

    def moderate_input(self, text: str) -> dict:
        """Prompt moderation via API."""
        response = client.classifiers.moderate(
            model="mistral-moderation-2603",
            inputs=[text]
        )
        scores = response.results[0].category_scores or {}
        violations = self._check_thresholds(scores)

        return {
            "allowed": len(violations) == 0,
            "scores": scores,
            "violations": violations
        }

    # --- Layer 3: Secure Generation ---

    def generate(self, messages: list) -> str:
        """Generation with guardrails and safe_prompt."""
        response = client.chat.complete(
            model=self.model,
            messages=messages,
            safe_prompt=True,
            guardrails=[
                {
                    "block_on_error": True,
                    "moderation_llm_v2": {
                        "custom_category_thresholds": self.policy["thresholds"],
                        "action": "block",
                    },
                }
            ],
        )
        content = response.choices[0].message.content
        return content if isinstance(content, str) else ""

    # --- Layer 4: Output Moderation ---

    def moderate_output(self, prompt: str, response_text: str) -> dict:
        """Response moderation in context."""
        response = client.classifiers.moderate_chat(
            model="mistral-moderation-2603",
            inputs=[[
                {"role": "user", "content": prompt},
                {"role": "assistant", "content": response_text}
            ]]
        )
        scores = response.results[0].category_scores or {}
        violations = self._check_thresholds(scores)

        return {
            "allowed": len(violations) == 0,
            "scores": scores,
            "violations": violations
        }

    # --- Layer 5: Logging ---

    def log_decision(self, decision: Decision, data: dict):
        """Records the decision for auditing."""
        self.stats[decision.value] += 1
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "decision": decision.value,
            "policy": self.policy["name"],
            **data
        }
        logger.info(json.dumps(entry, ensure_ascii=False))

    # --- Main Pipeline ---

    def process(self, user_message: str,
                system_prompt: str | None = None) -> dict:
        """Complete secure processing pipeline."""

        # Layer 1: Validation
        validation = self.validate_input(user_message)
        if not validation["valid"]:
            self.log_decision(Decision.BLOCKED_INPUT, {
                "reason": validation["reason"]
            })
            return {
                "status": Decision.BLOCKED_INPUT.value,
                "message": "Your message cannot be processed."
            }

        # Layer 2: Input Moderation
        check_input = self.moderate_input(user_message)
        if not check_input["allowed"]:
            self.log_decision(Decision.BLOCKED_INPUT, {
                "violations": check_input["violations"]
            })
            return {
                "status": Decision.BLOCKED_INPUT.value,
                "message": "This content violates our policy."
            }

        # Layer 3: Generation
        messages = []
        if system_prompt:
            messages.append({"role": "system",
                           "content": system_prompt})
        messages.append({"role": "user",
                        "content": user_message})

        try:
            response_text = self.generate(messages)
        except SDKError as e:
            if e.status_code == 403:
                self.log_decision(Decision.BLOCKED_GUARDRAIL, {})
                return {
                    "status": Decision.BLOCKED_GUARDRAIL.value,
                    "message": "Request blocked by guardrails."
                }
            raise

        # Layer 4: Output Moderation
        check_output = self.moderate_output(user_message, response_text)
        if not check_output["allowed"]:
            self.log_decision(Decision.BLOCKED_OUTPUT, {
                "violations": check_output["violations"]
            })
            return {
                "status": Decision.BLOCKED_OUTPUT.value,
                "message": "The response was filtered."
            }

        # Success
        self.log_decision(Decision.ALLOWED, {
            "input_max_score": max(check_input["scores"].values(), default=0.0),
            "output_max_score": max(check_output["scores"].values(), default=0.0),
        })

        return {
            "status": Decision.ALLOWED.value,
            "content": response_text,
            "moderation": {
                "input": check_input["scores"],
                "output": check_output["scores"]
            }
        }

    # --- Utilities ---

    def _check_thresholds(self, scores: dict) -> list:
        """Checks scores against policy thresholds."""
        violations = []
        for cat, threshold in self.policy["thresholds"].items():
            score = scores.get(cat, 0)
            if score > threshold:
                violations.append({
                    "category": cat,
                    "score": round(score, 3),
                    "threshold": threshold
                })
        return violations

    def report(self) -> dict:
        """Generates a statistics report."""
        total = sum(self.stats.values())
        return {
            "policy": self.policy["name"],
            "total_requests": total,
            "decisions": self.stats,
            "block_rate": round(
                (self.stats["blocked_input"] +
                 self.stats["blocked_guardrail"] +
                 self.stats["blocked_output"]) / max(total, 1),
                3
            )
        }

Използване в продукционна среда

# Define the policy
prod_policy = {
    "name": "Production v1.2",
    "thresholds": {
        "sexual": 0.15, "hate_and_discrimination": 0.1, "violence_and_threats": 0.2,
        "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1, "health": 0.4,
        "financial": 0.4, "law": 0.4, "pii": 0.15,
        "jailbreaking": 0.1
    }
}

# Instantiate the architecture
arch = SecureArchitecture(prod_policy)

# Process requests
result = arch.process(
    "Explain how transformers work",
    system_prompt="You are an AI instructor."
)
print(result["status"])   # expected: "allowed"
print(result["content"])

# Consult statistics
print(arch.report())

Мониторинг и предупреждения

Два показателя са достатъчни, за да управлявате система за модериране, и трябва да ги следите в противоположни посоки. Нивото на блокиране (block rate) трябва да остане стабилно: внезапно покачване сигнализира или за атака, или за твърде строг праг, който започва да пречи на легитимните потребители. Разпределението на резултатите (score distribution) е също толкова важно – ако вашето съдържание се групира точно под прага, тогава прагът е лошо поставен и следващата промяна от страна на вашите потребители ще го наруши.

def configure_alerts(arch: SecureArchitecture):
    """Configures alerts for monitoring."""
    report = arch.report()

    # Alert if block rate is abnormal
    if report["block_rate"] > 0.15:
        logger.warning(
            f"High block rate: "
            f"{report['block_rate']:.1%}"
        )

    # Alert if jailbreak spikes occur
    # Integrate with Prometheus, Grafana, Datadog, etc.

Обобщение на курса

До края на този курс Вие овладяхте:

  • Персонализирани предпазни мерки (Custom Guardrails): Блокиране на опасни подкани преди генерирането, конфигуриране на прагове за категория, прилагане към агенти.
  • API за модериране (Moderation API): Класифициране на съдържание с Mistral Moderation 2, тълкуване на резултати в 11-те категории, вземане на автоматизирани решения.
  • Сигурност в продукционна среда: Дефиниране на политики за съдържание, откриване на инжекции на подкани (prompt injections), осигуряване на съответствие с GDPR.
  • Пълна архитектура: Сглобяване на предпазни мерки + модериране + мониторинг в надежден конвейер.

Сега разполагате с целия необходим код, за да внедрите пълна система за модериране на изкуствен интелект с API на Mistral.

Ключови изводи

  • Архитектурата за сигурност включва 5 слоя: валидиране, предпазни мерки, генериране, модериране, регистриране.
  • Всеки слой компенсира слабостите на другите – това е защита в дълбочина (defense in depth).
  • Мониторинг на нивото на блокиране и резултатите в продукционна среда.
  • Поддържайте политиката си актуална чрез редовни прегледи.
  • Пълният код в този урок е отправна точка – адаптирайте го към Вашия контекст.

Проверете знанията си

Предпазни мерки, модериране, инжекции: ясна ли е защитната архитектура?

1. Къде се намесват персонализираните предпазни мерки?

Отговор: Преди модела: те филтрират входовете според Вашите правила (забранени теми, формати) – първият слой, който избягва дори правенето на заявка, когато тя е извън обхвата.

2. Какво обхваща API за модериране на Mistral?

Отговор: Единадесет категории рисково съдържание с резултат за всяка категория: Вашите прагове решават дали да блокирате, маркирате или разрешите – превръщайки политиката за съдържание в код.

3. Как се дефинира добра политика за съдържание?

Отговор: Чрез случая на употреба: какво е приемливо за приложението, прагове за категория, свързани действия (блокиране, пренаписване, ескалация) – документирани и тествани, а не подразбиращи се.

4. Как откривате опити за инжекция на подкани (prompt injection)?

Отговор: Като третирате цялото външно съдържание като подозрително: откриване на шаблони за инструкции в данните, изолиране на инструкциите от данните, валидиране на изходите – и провеждане на редовни офанзивни тестове.

5. Как изглежда пълната архитектура за сигурност?

Отговор: Слоеве: входни предпазни мерки, модериране на съдържание, контроли на изхода, съответствие с GDPR (минимизиране, права) и проследимост – нито един слой не е перфектен, но наслагването им компенсира.

Защитата в дълбочина не е просто лозунг: всеки слой в този курс улавя онова, което предишният е пропуснал.