Дефиниране на вашата политика за съдържание
На тази страница
Обновено на 3 ноември 2026 г. Предишните политики използваха три несъществуващи категории (
hate,violence,unpredictable) и пропускахаdangerous. Сега те са приведени в съответствие с единадесетте ключа отmistral-moderation-2603. Въведен е метод за конвертиране на политика в официалния формат на параметъраguardrails, гарантиращ прилагането на последователни прагове преди генерирането. Източници: Moderation & Guardrailing ·mistralaiSDK 3.7.0.
Защо Ви е необходима формална политика за съдържание
Праговете за модериране не са произволни технически избори. Те отразяват политика за съдържание – набор от правила, дефиниращи какво позволява и забранява Вашето приложение. Без формална политика всеки разработчик взема собствени решения и системата Ви за сигурност губи своята последователност: две услуги в рамките на една и съща компания започват да блокират различно съдържание, без никой да знае защо.
Един писмен документ Ви позволява да обосновете решенията за модериране както пред потребителите, така и пред регулаторните органи, да хармонизирате праговете между екипи и приложения, да одитирате съответствието на системата и да я подобрявате по структуриран начин при промяна на нуждите. В деня, в който даден потребител оспори блокиране, разликата между „прагът е зададен на 0.1“ и „нашата Публична политика v1.2 задава този праг поради следната причина“ е огромна.
Адаптиране на праговете към контекста на приложението
Едно и също съдържание може да бъде приемливо в един контекст и опасно в друг. Вашата политика трябва да отразява тези нюанси. Най-добрият начин да постигнете това е да опишете всеки профил като именуван, датиран и документиран обект, вместо като анонимен речник, загубен в кода.
За чатбот, насочен към широката публика, правилото е просто: стриктност навсякъде, като безопасността е приоритет. Вие не знаете нищо за човека от другата страна и сред потребителите може да има непълнолетни.
# Policy: Strict on everything, safety first
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Chatbot accessible to all, including minors",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Вътрешният асистент променя играта в едно отношение: потребителите са удостоверени, което означава, че са идентифицируеми и носят отговорност. Това позволява по-гъвкави прагове, особено за financial и law, зададени на 0.6, тъй като служител, който пита асистента за структурата на договор, просто си върши работата.
# Policy: Balanced, identified users
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Assistant for authenticated employees",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Специализиран инструмент – медицински, правен или финансов – довежда тази логика до крайност: много permisive в своята област, стриктен навсякъде другаде. В медицинския пример health се повишава до 0.85, защото обсъждането на диагнози е точно функцията на инструмента, докато pii спада до 0.15, защото данните за пациентите никога не трябва да циркулират. Тук са добавени два елемента, липсващи в предишните политики: режим на блокиране с пренасочване и изричен отказ от отговорност.
# Policy: Permissive on domain, strict elsewhere
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Tool for healthcare professionals",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Very permissive: legitimate domain
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Strict: patient data
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "This tool does not replace medical advice."
}
Формализиране на политиката като документ
Вашата политика за съдържание трябва да бъде версиониран документ, достъпен за всички екипи. На Python това се превежда в клас, който носи номера на версията и датата на ревизия заедно с праговете и който може както да оценява резултатите, така и да генерира съобщението за блокиране, съответстващо на deklarirania режим.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""Structured representation of a content policy."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Evaluates scores against the policy."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Generates an appropriate blocking message."""
if self.block_action == "generic_message":
return "This content cannot be processed."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"Content blocked for the following reasons: "
f"{cats}. Please rephrase your request.")
return "Content blocked."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""Translates the policy into the guardrails parameter for the Mistral API."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
Методът to_guardrails прави политиката единствения източник на истина за guardrails: client.chat.complete(..., guardrails=policy.to_guardrails()) или client.beta.agents.create(..., guardrails=policy.to_guardrails()). Праговете, прилагани преди и след генерирането, вече не могат да се разминават.
Обърнете внимание също, че резултатът от evaluate включва името и версията на приложената политика. Този детайл Ви позволява шест месеца по-късно да възпроизведете оспорено решение, знаейки точно при какъв режим е било взето.
Управление на множество приложения
Ако Вашата компания управлява множество приложения, централизирайте управлението на политиките. Мениджърът по-долу прави две полезни неща: изрично отказва да обслужи приложение без декларирана политика, предотвратявайки внедрявания без защитни механизми, и генерира доклад за съответствие, изброяващ версията и последната дата на ревизия за всяко приложение – точно това, което един одитор ще поиска.
class PolicyManager:
"""Manages content policies for multiple applications."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Registers a policy for an application."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Retrieves the policy for an application."""
if app_id not in self.policies:
raise ValueError(f"No policy for {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Generates a global compliance report."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Usage
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Ревизия и актуализации
Вашата политика не е изсечена в камък. Най-честата грешка е да я напишете веднъж и след това да я забравите. Установете ритъм: всяка седмица анализирайте фалшивите положителни и фалшивите отрицателни резултати, отчетени във Вашите логове; всеки месец коригирайте праговете въз основа на натрупаните метрики; всяко тримесечие провеждайте пълна ревизия със заинтересованите страни от бизнеса, юридическия отдел и продукта. Добавете към това едно неоспоримо правило: след всеки инцидент извършете пост-мортем анализ и внедрете незабавно поправка, без да чакате следващата планирана проверка.
Ключови изводи
- Политиката за съдържание превежда Вашите технически прагове в бизнес правила
- Адаптирайте праговете към контекста: публичен достъп, вътрешна употреба, специализирани инструменти
- Формализирайте политиката във версиониран документ
- Централизирайте управлението, ако разполагате с множество приложения
- Ревизирайте редовно – политиката трябва да еволюира заедно с Вашия продукт