Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Definice zásad pro obsah

Lekce 9 z 12 Aktualizováno 29. července 2026 Vývojář
Na této stránce
  1. Proč potřebuješ formální zásady pro obsah
  2. Přizpůsobení prahových hodnot kontextu aplikace
  3. Formalizace zásad jako dokumentu
  4. Správa více aplikací
  5. Revize a aktualizace
  6. Klíčové poznatky

Aktualizováno 3. listopadu 2026. Předchozí zásady používaly tři neexistující kategorie (hate, violence, unpredictable) a opomíjely dangerous. Nyní jsou v souladu s jedenácti klíči z mistral-moderation-2603. Metoda nyní převádí zásady do oficiálního formátu parametru guardrails, což zajišťuje konzistentní aplikaci prahových hodnot před generováním. Zdroje: Moderation & Guardrailing · mistralai SDK 3.7.0.

Proč potřebuješ formální zásady pro obsah

Prahové hodnoty moderace nejsou libovolná technická rozhodnutí. Odrážejí zásady pro obsah – soubor pravidel definujících, co tvoje aplikace povoluje a co zakazuje. Bez formálních zásad si každý vývojář dělá vlastní úsudky a tvůj bezpečnostní systém ztrácí konzistenci: dvě služby ve stejné firmě nakonec blokují odlišný obsah a nikdo neví proč.

Písemné zásady ti umožní obhájit rozhodnutí o moderaci před uživateli i regulátory, sjednotit prahové hodnoty napříč týmy a aplikacemi, auditovat soulad systému a strukturovaně iterovat podle měnících se potřeb. V den, kdy uživatel zpochytní zablokování, je rozdíl mezi „prahová hodnota je nastavena na 0,1“ a „naše veřejné zásady v1.2 stanovují tuto prahovou hodnotu z tohoto důvodu“ obrovský.

Přizpůsobení prahových hodnot kontextu aplikace

Stejný obsah může být v jednom kontextu přijatelný a v jiném nebezpečný. Tvé zásady musí tyto nuance odrážet. Nejlepší způsob, jak toho dosáhnout, je popsat každý profil jako pojmenovaný, datovaný a zdokumentovaný objekt, nikoliv jako anonymický slovník ztracený v kódu.

U chatbota určeného pro veřejnost je pravidlo jednoduché: všude přísně, bezpečnost je prioritou. Nevíš nic o osobě na druhé straně a mohou být přítomny nezletilé osoby.

# Zásady: Všude přísné, bezpečnost na prvním místě
POLICY_PUBLIC = {
    "name": "Public-Facing",
    "description": "Chatbot přístupný všem, včetně nezletilých",
    "thresholds": {
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "block_action": "generic_message",
    "logging": "full"
}

Interní asistent mění situaci v jednom bodě: uživatelé jsou autentizováni, což znamená, že jsou identifikovatelní a odpovědní. To umožňuje flexibilnější prahové hodnoty, zejména u financial a law nastavených na 0,6, protože zaměstnanec dotazující se asistenta na strukturu smlouvy pouze vykonává svou práci.

# Zásady: Vyvážené, identifikovaní uživatelé
POLICY_INTERNAL = {
    "name": "Internal B2B",
    "description": "Asistent pro autentizované zaměstnance",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.3,
        "dangerous": 0.2,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.5,
        "financial": 0.6,
        "law": 0.6,
        "pii": 0.3,
        "jailbreaking": 0.15,
    },
    "block_action": "detailed_message",
    "logging": "full"
}

Specializovaný nástroj – lékařský, právní nebo finanční – přivádí tuto logiku do důsledku: ve svém oboru velmi permisivní, jinde přísný. V lékařském příkladu stoupá health na 0,85, protože diskuse o diagnózách je přesně funkcí nástroje, zatímco pii klesá na 0,15, protože data pacientů se nikdy nesmí šířit. Zde jsou přidány dva prvky, které v předchozích zásadách chyběly: režim blokování s přesměrováním a explicitní upozornění.

# Zásady: Permisivní v oboru, jinde přísné
POLICY_MEDICAL = {
    "name": "Medical Assistant",
    "description": "Nástroj pro zdravotnické pracovníky",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.3,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.3,
        "health": 0.85,    # Velmi permisivní: legitimní obor
        "financial": 0.3,
        "law": 0.4,
        "pii": 0.15,       # Přísné: data pacientů
        "jailbreaking": 0.1,
    },
    "block_action": "detailed_message_with_redirect",
    "logging": "full_with_audit",
    "disclaimer": "Tento nástroj nenahrazuje lékařskou pomoc."
}

Formalizace zásad jako dokumentu

Tvůj obsahový dokument musí být verzovaný dokument přístupný všem týmům. V Pythonu se to překládá do třídy, která nese číslo verze a datum revize spolu s prahovými hodnotami a která dokáže jak vyhodnotit skóre, tak vygenerovat blokovací zprávu odpovídající deklarovanému režimu.

from mistralai.client.models import GuardrailConfigTypedDict


class ContentPolicy:
    """Strukturovaná reprezentace zásad pro obsah."""

    def __init__(self, config: dict):
        self.name = config["name"]
        self.description = config["description"]
        self.thresholds = config["thresholds"]
        self.block_action = config["block_action"]
        self.logging = config["logging"]
        self.version = config.get("version", "1.0.0")
        self.revision_date = config.get("revision_date", "2026-04-01")

    def evaluate(self, scores: dict) -> dict:
        """Vyhodnotí skóre podle zásad."""
        violations = []
        for cat, threshold in self.thresholds.items():
            score = scores.get(cat, 0)
            if score > threshold:
                violations.append({
                    "category": cat,
                    "score": round(score, 3),
                    "threshold": threshold
                })

        return {
            "policy": self.name,
            "version": self.version,
            "allowed": len(violations) == 0,
            "violations": violations
        }

    def block_message(self, violations: list) -> str:
        """Vygeneruje odpovídající blokovací zprávu."""
        if self.block_action == "generic_message":
            return "Tento obsah nelze zpracovat."
        elif self.block_action == "detailed_message":
            cats = ", ".join(v["category"] for v in violations)
            return (f"Obsah zablokován z následujících důvodů: "
                    f"{cats}. Prosím, přeformuluj svůj požadavek.")
        return "Obsah zablokován."

    def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
        """Převede zásady do parametru guardrails pro Mistral API."""
        return [
            {
                "block_on_error": True,
                "moderation_llm_v2": {
                    "custom_category_thresholds": self.thresholds,
                    "ignore_other_categories": False,
                    "action": "block",
                },
            }
        ]

Metoda to_guardrails činí zásady jediným zdrojem pravdy pro guardrails: client.chat.complete(..., guardrails=policy.to_guardrails()) nebo client.beta.agents.create(..., guardrails=policy.to_guardrails()). Prahové hodnoty aplikované před a po generování se již nemohou lišit.

Všimni si také, že výsledek evaluate zahrnuje název a verzi aplikovaných zásad. Tento detail ti umožní o šest měsíců později přehrát zpochybněné rozhodnutí s vědomostí, za jakého režimu bylo učiněno.

Správa více aplikací

Pokud tvoje firma spravuje více aplikací, centralizuj správu zásad. Níže uvedený správce dělá dvě užitečné věci: explicitně odmítá obsloužit aplikaci bez deklarovaných zásad, čímž zabraňuje nasazení bez bezpečnostních sítí, a vytváří zprávu o souladu uvádějící verzi a datum poslední revize pro každou aplikaci – přesně to, co bude auditor požadovat.

class PolicyManager:
    """Spravuje zásady pro obsah pro více aplikací."""

    def __init__(self):
        self.policies = {}

    def register(self, app_id: str, policy: ContentPolicy):
        """Registrovat zásady pro aplikaci."""
        self.policies[app_id] = policy

    def get(self, app_id: str) -> ContentPolicy:
        """Získá zásady pro aplikaci."""
        if app_id not in self.policies:
            raise ValueError(f"Žádné zásady pro {app_id}")
        return self.policies[app_id]

    def compliance_report(self) -> dict:
        """Vygeneruje globální zprávu o souladu."""
        return {
            app_id: {
                "name": pol.name,
                "version": pol.version,
                "revision_date": pol.revision_date,
                "categories_covered": len(pol.thresholds)
            }
            for app_id, pol in self.policies.items()
        }

# Použití
manager = PolicyManager()
manager.register("chatbot-public",
    ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
    ContentPolicy(POLICY_MEDICAL))

Revize a aktualizace

Tvůj dokument není vytesán do kamene. Nejčastější chybou je napsat jej jednou a pak na něj zapomenout. Zaveď rytmus: každý týden analyzuj falešně pozitivní a falešně negativní výsledky hlášené v tvých logách; každý měsíc upravuj prahové hodnoty na základě nasbíraných metrik; každé čtvrtletí proveď úplnou revizi se zástupci obchodu, právního oddělení a produktu. Přidej k tomu neprůstřelné pravidlo: po každém incidentu proveď post-mortem analýzu a implementuj okamžitou opravu, aniž bys čekal na další plánovanou revizi.

Klíčové poznatky

  • Zásady pro obsah převádějí tvé technické prahové hodnoty na obchodní pravidla
  • Přizpůsob prahové hodnoty kontextu: veřejné, interní, specializované
  • Formalizuj zásady jako verzovaný dokument
  • Centralizuj správu, pokud máš více aplikací
  • Pravidelně reviduj – zásady se musí vyvíjet spolu s tvým produktem