Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Kompletná bezpečnostná architektúra

Lekcia 12 z 12 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Spojenie všetkých častí
  2. Prehľad architektúry
  3. Kompletná implementácia
  4. Použitie v produkcii
  5. Monitorovanie a alerty
  6. Zhrnutie kurzu
  7. Kľúčové poznatky
  8. Otestuj si svoje vedomosti

Aktualizované 3. novembra 2026. Vrstva generovania predtým používala vymyslený formát ochranných mechanizmov (enabled) a produkčná politika obsahovala neexistujúce kategórie (hate, violence, unpredictable). Kód teraz dodržiava oficiálny formát moderation_llm_v2 a jedenásť kľúčov z mistral-moderation-2603. Skóre, ktoré sú v SDK voliteľné, sa čítajú s náhradnou hodnotou. Kód overený oproti typom SDK mistralai verzie 3.7.0. Zdroje: Moderation & Guardrailing · Python SDK mistralai.

Spojenie všetkých častí

Počas tohto kurzu si preskúmal ochranné mechanizmy (guardrails), API pre moderovanie, 11 kategórií, prahové hodnoty, detekciu jailbreakov, súlad s GDPR a zásady obsahu. Táto záverečná lekcia spája všetky tieto stavebné kamene do kompletnej bezpečnostnej architektúry pripravenej na nasadenie do produkcie.

Prehľad architektúry

Existuje päť vrstiev, ktorými sa riadi jeden princíp: žiadna z nich nie je sama o sebe spoľahlivá. Ochranný mechanizmus môže byť obídený neočakávaným formulovaním, model na moderovanie má falošne negatívne výsledky a politika obsahu nikdy nepokryje každý prípad. Ich vrstvenie funguje preto, lebo medzery sa neprekrývajú – to, čo preklzne prvou vrstvou, má veľkú šancu, že ho zachytí druhá.

Praktickým dôsledkom je prísne poradie: každá vrstva musí byť čo najlacnejšia, než sa spustí ďalšia. Najprv overíš formát pred volaním ochranného mechanizmu a ochranný mechanizmus zavoláš pred generovaním – pretože obsah zamietnutý v kroku 1 nespotrebuje žiadne tokeny.

User
    ↓
[1. Input Validation] → Regex, patterns, rate limiting
    ↓
[2. Mistral Guardrails]  → Pre-generation blocking (403)
    ↓
[3. LLM Generation]      → safe_prompt + secure instructions
    ↓
[4. Output Moderation]   → Moderation API post-generation
    ↓
[5. Logging & Audit]     → Scores, decisions, GDPR audit trail
    ↓
User Response

Kompletná implementácia

from mistralai.client import Mistral
from mistralai.client.errors import SDKError
import os
import re
import json
import logging
from datetime import datetime, timezone
from enum import Enum

# Configuration
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

logging.basicConfig(level=logging.INFO)
logger = logging.getLogger("moderation")


class Decision(Enum):
    ALLOWED = "allowed"
    BLOCKED_INPUT = "blocked_input"
    BLOCKED_GUARDRAIL = "blocked_guardrail"
    BLOCKED_OUTPUT = "blocked_output"
    ERROR = "error"


class SecureArchitecture:
    """Complete security architecture for AI applications."""

    def __init__(self, policy: dict, model: str = "mistral-large-latest"):
        self.policy = policy
        self.model = model
        self.stats = {d.value: 0 for d in Decision}

    # --- Layer 1: Input Validation ---

    def validate_input(self, text: str) -> dict:
        """Fast validation before any API call."""
        # Maximum length
        if len(text) > 10000:
            return {"valid": False, "reason": "Message too long"}

        # Suspicious characters (Unicode injections)
        if re.search(r"[\x00-\x08\x0b\x0c\x0e-\x1f]", text):
            return {"valid": False, "reason": "Invalid characters"}

        # Obvious jailbreak patterns
        patterns = [
            r"ignore\s+(all\s+)?(previous|prior|above)",
            r"you\s+are\s+now\s+(DAN|unfiltered)",
            r"oublie\s+(toutes?\s+)?(tes|vos)\s+instructions",
            r"system\s*prompt",
        ]
        for pattern in patterns:
            if re.search(pattern, text, re.IGNORECASE):
                return {
                    "valid": False,
                    "reason": "Injection pattern detected"
                }

        return {"valid": True}

    # --- Layer 2: Input Moderation ---

    def moderate_input(self, text: str) -> dict:
        """Prompt moderation via API."""
        response = client.classifiers.moderate(
            model="mistral-moderation-2603",
            inputs=[text]
        )
        scores = response.results[0].category_scores or {}
        violations = self._check_thresholds(scores)

        return {
            "allowed": len(violations) == 0,
            "scores": scores,
            "violations": violations
        }

    # --- Layer 3: Secure Generation ---

    def generate(self, messages: list) -> str:
        """Generation with guardrails and safe_prompt."""
        response = client.chat.complete(
            model=self.model,
            messages=messages,
            safe_prompt=True,
            guardrails=[
                {
                    "block_on_error": True,
                    "moderation_llm_v2": {
                        "custom_category_thresholds": self.policy["thresholds"],
                        "action": "block",
                    },
                }
            ],
        )
        content = response.choices[0].message.content
        return content if isinstance(content, str) else ""

    # --- Layer 4: Output Moderation ---

    def moderate_output(self, prompt: str, response_text: str) -> dict:
        """Response moderation in context."""
        response = client.classifiers.moderate_chat(
            model="mistral-moderation-2603",
            inputs=[[
                {"role": "user", "content": prompt},
                {"role": "assistant", "content": response_text}
            ]]
        )
        scores = response.results[0].category_scores or {}
        violations = self._check_thresholds(scores)

        return {
            "allowed": len(violations) == 0,
            "scores": scores,
            "violations": violations
        }

    # --- Layer 5: Logging ---

    def log_decision(self, decision: Decision, data: dict):
        """Records the decision for auditing."""
        self.stats[decision.value] += 1
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "decision": decision.value,
            "policy": self.policy["name"],
            **data
        }
        logger.info(json.dumps(entry, ensure_ascii=False))

    # --- Main Pipeline ---

    def process(self, user_message: str,
                system_prompt: str | None = None) -> dict:
        """Complete secure processing pipeline."""

        # Layer 1: Validation
        validation = self.validate_input(user_message)
        if not validation["valid"]:
            self.log_decision(Decision.BLOCKED_INPUT, {
                "reason": validation["reason"]
            })
            return {
                "status": Decision.BLOCKED_INPUT.value,
                "message": "Your message cannot be processed."
            }

        # Layer 2: Input Moderation
        check_input = self.moderate_input(user_message)
        if not check_input["allowed"]:
            self.log_decision(Decision.BLOCKED_INPUT, {
                "violations": check_input["violations"]
            })
            return {
                "status": Decision.BLOCKED_INPUT.value,
                "message": "This content violates our policy."
            }

        # Layer 3: Generation
        messages = []
        if system_prompt:
            messages.append({"role": "system",
                           "content": system_prompt})
        messages.append({"role": "user",
                        "content": user_message})

        try:
            response_text = self.generate(messages)
        except SDKError as e:
            if e.status_code == 403:
                self.log_decision(Decision.BLOCKED_GUARDRAIL, {})
                return {
                    "status": Decision.BLOCKED_GUARDRAIL.value,
                    "message": "Request blocked by guardrails."
                }
            raise

        # Layer 4: Output Moderation
        check_output = self.moderate_output(user_message, response_text)
        if not check_output["allowed"]:
            self.log_decision(Decision.BLOCKED_OUTPUT, {
                "violations": check_output["violations"]
            })
            return {
                "status": Decision.BLOCKED_OUTPUT.value,
                "message": "The response was filtered."
            }

        # Success
        self.log_decision(Decision.ALLOWED, {
            "input_max_score": max(check_input["scores"].values(), default=0.0),
            "output_max_score": max(check_output["scores"].values(), default=0.0),
        })

        return {
            "status": Decision.ALLOWED.value,
            "content": response_text,
            "moderation": {
                "input": check_input["scores"],
                "output": check_output["scores"]
            }
        }

    # --- Utilities ---

    def _check_thresholds(self, scores: dict) -> list:
        """Checks scores against policy thresholds."""
        violations = []
        for cat, threshold in self.policy["thresholds"].items():
            score = scores.get(cat, 0)
            if score > threshold:
                violations.append({
                    "category": cat,
                    "score": round(score, 3),
                    "threshold": threshold
                })
        return violations

    def report(self) -> dict:
        """Generates a statistics report."""
        total = sum(self.stats.values())
        return {
            "policy": self.policy["name"],
            "total_requests": total,
            "decisions": self.stats,
            "block_rate": round(
                (self.stats["blocked_input"] +
                 self.stats["blocked_guardrail"] +
                 self.stats["blocked_output"]) / max(total, 1),
                3
            )
        }

Použitie v produkcii

# Define the policy
prod_policy = {
    "name": "Production v1.2",
    "thresholds": {
        "sexual": 0.15, "hate_and_discrimination": 0.1, "violence_and_threats": 0.2,
        "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1, "health": 0.4,
        "financial": 0.4, "law": 0.4, "pii": 0.15,
        "jailbreaking": 0.1
    }
}

# Instantiate the architecture
arch = SecureArchitecture(prod_policy)

# Process requests
result = arch.process(
    "Explain how transformers work",
    system_prompt="You are an AI instructor."
)
print(result["status"])   # expected: "allowed"
print(result["content"])

# Consult statistics
print(arch.report())

Monitorovanie a alerty

Na riadenie systému moderovania stačia dve metriky a musíš ich sledovať v opačných smeroch. Miera blokovania by mala zostať stabilná: náhly nárast signalizuje buď útok, alebo príliš prísnu prahovú hodnotu, ktorá začína obmedzovať legitímnych používateľov. Rovnako dôležité je rozloženie skóre – ak sa tvoj obsah hromadí tesne pod prahovou hodnotou, je táto hodnota zle nastavená a ďalšia úprava zo strany používateľov ju prelomí.

def configure_alerts(arch: SecureArchitecture):
    """Configures alerts for monitoring."""
    report = arch.report()

    # Alert if block rate is abnormal
    if report["block_rate"] > 0.15:
        logger.warning(
            f"High block rate: "
            f"{report['block_rate']:.1%}"
        )

    # Alert if jailbreak spikes occur
    # Integrate with Prometheus, Grafana, Datadog, etc.

Zhrnutie kurzu

Na konci tohto kurzu si zvládol:

  • Vlastné ochranné mechanizmy: Blokovanie nebezpečných promptov pred generovaním, konfigurácia prahových hodnôt podľa kategórie, aplikácia na agentov
  • API pre moderovanie: Klasifikácia obsahu pomocou Mistral Moderation 2, interpretácia skóre naprieč 11 kategóriami, automatizované rozhodovanie
  • Bezpečnosť v produkcii: Definovanie politík obsahu, detekcia vstrekovania promptov, zabezpečenie súladu s GDPR
  • Kompletná architektúra: Spojenie ochranných mechanizmov, moderovania a monitorovania do robustného pipeline

Teraz máš k dispozícii celý kód potrebný na nasadenie kompletného systému moderovania AI pomocou API Mistral.

Kľúčové poznatky

  • Bezpečnostná architektúra zahŕňa 5 vrstiev: validácia, ochranné mechanizmy, generovanie, moderovanie, logovanie
  • Každá vrstva kompenzuje slabiny ostatných – toto je obrana do hĺbky (defense in depth)
  • Monitoruj mieru blokovania a skóre v produkcii
  • Udržiavaj svoju politiku aktuálnu pomocou pravidelných revízií
  • Kompletný kód v tejto lekcii je východiskovým bodom – prispôsob ho svojmu kontextu

Otestuj si svoje vedomosti

Sú ochranné mechanizmy, moderovanie a vstrekovanie jasné v rámci obrannej architektúry?

1. Kde zasahujú vlastné ochranné mechanizmy?

Odpoveď: Pred modelom: filtrujú vstupy podľa tvojich pravidiel (zakázané témy, formáty) – ide o prvú vrstvu, ktorá zabráni dokonca aj uskutočneniu volania, ak je požiadavka mimo rozsah.

2. Čo pokrýva API Mistral Moderation?

Odpoveď: Jedenásť kategórií rizikového obsahu so skóre pre každú kategóriu: tvoje prahové hodnoty rozhodujú, či obsah zablokovať, označiť alebo povoliť – čím sa politika obsahu mení na kód.

3. Ako sa definuje dobrá politika obsahu?

Odpoveď: Podľa prípadu použitia: čo je pre aplikáciu prijateľné, prahové hodnoty pre každú kategóriu, priradené akcie (blokovanie, prepis, eskalácia) – zdokumentované a otestované, nie implicitné.

4. Ako deteguješ pokusy o vstrekovanie promptov?

Odpoveď: Tým, že všetok externý obsah považuješ za podozrivý: detekcia vzorov inštrukcií v dátach, izolácia inštrukcií od dát, validácia výstupov a pravidelné ofenzívne testy.

5. Ako vyzerá kompletná bezpečnostná architektúra?

Odpoveď: Vrstvy: vstupné ochranné mechanizmy, moderovanie obsahu, výstupné kontroly, súlad s GDPR (minimalizácia, práva) a sledovateľnosť – žiadna jednotlivá vrstva nie je dokonalá, ale ich vrstvenie kompenzuje nedostatky.

Obrana do hĺbky nie je len slogan: každá vrstva v tomto kurze zachytí to, čo predchádzajúca prepustila.