Премини към основното съдържание
Български— Изберете език
Меню

Дефиниране на вашата политика за съдържание

Урок 9 от 12 Обновен 29 юли 2026 г. Програмист
На тази страница
  1. Защо Ви е необходима формална политика за съдържание
  2. Адаптиране на праговете към контекста на приложението
  3. Формализиране на политиката като документ
  4. Управление на множество приложения
  5. Ревизия и актуализации
  6. Ключови изводи

Обновено на 3 ноември 2026 г. Предишните политики използваха три несъществуващи категории (hate, violence, unpredictable) и пропускаха dangerous. Сега те са приведени в съответствие с единадесетте ключа от mistral-moderation-2603. Въведен е метод за конвертиране на политика в официалния формат на параметъра guardrails, гарантиращ прилагането на последователни прагове преди генерирането. Източници: Moderation & Guardrailing · mistralai SDK 3.7.0.

Защо Ви е необходима формална политика за съдържание

Праговете за модериране не са произволни технически избори. Те отразяват политика за съдържание – набор от правила, дефиниращи какво позволява и забранява Вашето приложение. Без формална политика всеки разработчик взема собствени решения и системата Ви за сигурност губи своята последователност: две услуги в рамките на една и съща компания започват да блокират различно съдържание, без никой да знае защо.

Един писмен документ Ви позволява да обосновете решенията за модериране както пред потребителите, така и пред регулаторните органи, да хармонизирате праговете между екипи и приложения, да одитирате съответствието на системата и да я подобрявате по структуриран начин при промяна на нуждите. В деня, в който даден потребител оспори блокиране, разликата между „прагът е зададен на 0.1“ и „нашата Публична политика v1.2 задава този праг поради следната причина“ е огромна.

Адаптиране на праговете към контекста на приложението

Едно и също съдържание може да бъде приемливо в един контекст и опасно в друг. Вашата политика трябва да отразява тези нюанси. Най-добрият начин да постигнете това е да опишете всеки профил като именуван, датиран и документиран обект, вместо като анонимен речник, загубен в кода.

За чатбот, насочен към широката публика, правилото е просто: стриктност навсякъде, като безопасността е приоритет. Вие не знаете нищо за човека от другата страна и сред потребителите може да има непълнолетни.

# Policy: Strict on everything, safety first
POLICY_PUBLIC = {
    "name": "Public-Facing",
    "description": "Chatbot accessible to all, including minors",
    "thresholds": {
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "block_action": "generic_message",
    "logging": "full"
}

Вътрешният асистент променя играта в едно отношение: потребителите са удостоверени, което означава, че са идентифицируеми и носят отговорност. Това позволява по-гъвкави прагове, особено за financial и law, зададени на 0.6, тъй като служител, който пита асистента за структурата на договор, просто си върши работата.

# Policy: Balanced, identified users
POLICY_INTERNAL = {
    "name": "Internal B2B",
    "description": "Assistant for authenticated employees",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.3,
        "dangerous": 0.2,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.5,
        "financial": 0.6,
        "law": 0.6,
        "pii": 0.3,
        "jailbreaking": 0.15,
    },
    "block_action": "detailed_message",
    "logging": "full"
}

Специализиран инструмент – медицински, правен или финансов – довежда тази логика до крайност: много permisive в своята област, стриктен навсякъде другаде. В медицинския пример health се повишава до 0.85, защото обсъждането на диагнози е точно функцията на инструмента, докато pii спада до 0.15, защото данните за пациентите никога не трябва да циркулират. Тук са добавени два елемента, липсващи в предишните политики: режим на блокиране с пренасочване и изричен отказ от отговорност.

# Policy: Permissive on domain, strict elsewhere
POLICY_MEDICAL = {
    "name": "Medical Assistant",
    "description": "Tool for healthcare professionals",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.3,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.3,
        "health": 0.85,    # Very permissive: legitimate domain
        "financial": 0.3,
        "law": 0.4,
        "pii": 0.15,       # Strict: patient data
        "jailbreaking": 0.1,
    },
    "block_action": "detailed_message_with_redirect",
    "logging": "full_with_audit",
    "disclaimer": "This tool does not replace medical advice."
}

Формализиране на политиката като документ

Вашата политика за съдържание трябва да бъде версиониран документ, достъпен за всички екипи. На Python това се превежда в клас, който носи номера на версията и датата на ревизия заедно с праговете и който може както да оценява резултатите, така и да генерира съобщението за блокиране, съответстващо на deklarirania режим.

from mistralai.client.models import GuardrailConfigTypedDict


class ContentPolicy:
    """Structured representation of a content policy."""

    def __init__(self, config: dict):
        self.name = config["name"]
        self.description = config["description"]
        self.thresholds = config["thresholds"]
        self.block_action = config["block_action"]
        self.logging = config["logging"]
        self.version = config.get("version", "1.0.0")
        self.revision_date = config.get("revision_date", "2026-04-01")

    def evaluate(self, scores: dict) -> dict:
        """Evaluates scores against the policy."""
        violations = []
        for cat, threshold in self.thresholds.items():
            score = scores.get(cat, 0)
            if score > threshold:
                violations.append({
                    "category": cat,
                    "score": round(score, 3),
                    "threshold": threshold
                })

        return {
            "policy": self.name,
            "version": self.version,
            "allowed": len(violations) == 0,
            "violations": violations
        }

    def block_message(self, violations: list) -> str:
        """Generates an appropriate blocking message."""
        if self.block_action == "generic_message":
            return "This content cannot be processed."
        elif self.block_action == "detailed_message":
            cats = ", ".join(v["category"] for v in violations)
            return (f"Content blocked for the following reasons: "
                    f"{cats}. Please rephrase your request.")
        return "Content blocked."

    def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
        """Translates the policy into the guardrails parameter for the Mistral API."""
        return [
            {
                "block_on_error": True,
                "moderation_llm_v2": {
                    "custom_category_thresholds": self.thresholds,
                    "ignore_other_categories": False,
                    "action": "block",
                },
            }
        ]

Методът to_guardrails прави политиката единствения източник на истина за guardrails: client.chat.complete(..., guardrails=policy.to_guardrails()) или client.beta.agents.create(..., guardrails=policy.to_guardrails()). Праговете, прилагани преди и след генерирането, вече не могат да се разминават.

Обърнете внимание също, че резултатът от evaluate включва името и версията на приложената политика. Този детайл Ви позволява шест месеца по-късно да възпроизведете оспорено решение, знаейки точно при какъв режим е било взето.

Управление на множество приложения

Ако Вашата компания управлява множество приложения, централизирайте управлението на политиките. Мениджърът по-долу прави две полезни неща: изрично отказва да обслужи приложение без декларирана политика, предотвратявайки внедрявания без защитни механизми, и генерира доклад за съответствие, изброяващ версията и последната дата на ревизия за всяко приложение – точно това, което един одитор ще поиска.

class PolicyManager:
    """Manages content policies for multiple applications."""

    def __init__(self):
        self.policies = {}

    def register(self, app_id: str, policy: ContentPolicy):
        """Registers a policy for an application."""
        self.policies[app_id] = policy

    def get(self, app_id: str) -> ContentPolicy:
        """Retrieves the policy for an application."""
        if app_id not in self.policies:
            raise ValueError(f"No policy for {app_id}")
        return self.policies[app_id]

    def compliance_report(self) -> dict:
        """Generates a global compliance report."""
        return {
            app_id: {
                "name": pol.name,
                "version": pol.version,
                "revision_date": pol.revision_date,
                "categories_covered": len(pol.thresholds)
            }
            for app_id, pol in self.policies.items()
        }

# Usage
manager = PolicyManager()
manager.register("chatbot-public",
    ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
    ContentPolicy(POLICY_MEDICAL))

Ревизия и актуализации

Вашата политика не е изсечена в камък. Най-честата грешка е да я напишете веднъж и след това да я забравите. Установете ритъм: всяка седмица анализирайте фалшивите положителни и фалшивите отрицателни резултати, отчетени във Вашите логове; всеки месец коригирайте праговете въз основа на натрупаните метрики; всяко тримесечие провеждайте пълна ревизия със заинтересованите страни от бизнеса, юридическия отдел и продукта. Добавете към това едно неоспоримо правило: след всеки инцидент извършете пост-мортем анализ и внедрете незабавно поправка, без да чакате следващата планирана проверка.

Ключови изводи

  • Политиката за съдържание превежда Вашите технически прагове в бизнес правила
  • Адаптирайте праговете към контекста: публичен достъп, вътрешна употреба, специализирани инструменти
  • Формализирайте политиката във версиониран документ
  • Централизирайте управлението, ако разполагате с множество приложения
  • Ревизирайте редовно – политиката трябва да еволюира заедно с Вашия продукт