Definice zásad pro obsah
Na této stránce
Aktualizováno 3. listopadu 2026. Předchozí zásady používaly tři neexistující kategorie (
hate,violence,unpredictable) a opomíjelydangerous. Nyní jsou v souladu s jedenácti klíči zmistral-moderation-2603. Metoda nyní převádí zásady do oficiálního formátu parametruguardrails, což zajišťuje konzistentní aplikaci prahových hodnot před generováním. Zdroje: Moderation & Guardrailing ·mistralaiSDK 3.7.0.
Proč potřebuješ formální zásady pro obsah
Prahové hodnoty moderace nejsou libovolná technická rozhodnutí. Odrážejí zásady pro obsah – soubor pravidel definujících, co tvoje aplikace povoluje a co zakazuje. Bez formálních zásad si každý vývojář dělá vlastní úsudky a tvůj bezpečnostní systém ztrácí konzistenci: dvě služby ve stejné firmě nakonec blokují odlišný obsah a nikdo neví proč.
Písemné zásady ti umožní obhájit rozhodnutí o moderaci před uživateli i regulátory, sjednotit prahové hodnoty napříč týmy a aplikacemi, auditovat soulad systému a strukturovaně iterovat podle měnících se potřeb. V den, kdy uživatel zpochytní zablokování, je rozdíl mezi „prahová hodnota je nastavena na 0,1“ a „naše veřejné zásady v1.2 stanovují tuto prahovou hodnotu z tohoto důvodu“ obrovský.
Přizpůsobení prahových hodnot kontextu aplikace
Stejný obsah může být v jednom kontextu přijatelný a v jiném nebezpečný. Tvé zásady musí tyto nuance odrážet. Nejlepší způsob, jak toho dosáhnout, je popsat každý profil jako pojmenovaný, datovaný a zdokumentovaný objekt, nikoliv jako anonymický slovník ztracený v kódu.
U chatbota určeného pro veřejnost je pravidlo jednoduché: všude přísně, bezpečnost je prioritou. Nevíš nic o osobě na druhé straně a mohou být přítomny nezletilé osoby.
# Zásady: Všude přísné, bezpečnost na prvním místě
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Chatbot přístupný všem, včetně nezletilých",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Interní asistent mění situaci v jednom bodě: uživatelé jsou autentizováni, což znamená, že jsou identifikovatelní a odpovědní. To umožňuje flexibilnější prahové hodnoty, zejména u financial a law nastavených na 0,6, protože zaměstnanec dotazující se asistenta na strukturu smlouvy pouze vykonává svou práci.
# Zásady: Vyvážené, identifikovaní uživatelé
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Asistent pro autentizované zaměstnance",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Specializovaný nástroj – lékařský, právní nebo finanční – přivádí tuto logiku do důsledku: ve svém oboru velmi permisivní, jinde přísný. V lékařském příkladu stoupá health na 0,85, protože diskuse o diagnózách je přesně funkcí nástroje, zatímco pii klesá na 0,15, protože data pacientů se nikdy nesmí šířit. Zde jsou přidány dva prvky, které v předchozích zásadách chyběly: režim blokování s přesměrováním a explicitní upozornění.
# Zásady: Permisivní v oboru, jinde přísné
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Nástroj pro zdravotnické pracovníky",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Velmi permisivní: legitimní obor
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Přísné: data pacientů
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "Tento nástroj nenahrazuje lékařskou pomoc."
}
Formalizace zásad jako dokumentu
Tvůj obsahový dokument musí být verzovaný dokument přístupný všem týmům. V Pythonu se to překládá do třídy, která nese číslo verze a datum revize spolu s prahovými hodnotami a která dokáže jak vyhodnotit skóre, tak vygenerovat blokovací zprávu odpovídající deklarovanému režimu.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""Strukturovaná reprezentace zásad pro obsah."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Vyhodnotí skóre podle zásad."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Vygeneruje odpovídající blokovací zprávu."""
if self.block_action == "generic_message":
return "Tento obsah nelze zpracovat."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"Obsah zablokován z následujících důvodů: "
f"{cats}. Prosím, přeformuluj svůj požadavek.")
return "Obsah zablokován."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""Převede zásady do parametru guardrails pro Mistral API."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
Metoda to_guardrails činí zásady jediným zdrojem pravdy pro guardrails: client.chat.complete(..., guardrails=policy.to_guardrails()) nebo client.beta.agents.create(..., guardrails=policy.to_guardrails()). Prahové hodnoty aplikované před a po generování se již nemohou lišit.
Všimni si také, že výsledek evaluate zahrnuje název a verzi aplikovaných zásad. Tento detail ti umožní o šest měsíců později přehrát zpochybněné rozhodnutí s vědomostí, za jakého režimu bylo učiněno.
Správa více aplikací
Pokud tvoje firma spravuje více aplikací, centralizuj správu zásad. Níže uvedený správce dělá dvě užitečné věci: explicitně odmítá obsloužit aplikaci bez deklarovaných zásad, čímž zabraňuje nasazení bez bezpečnostních sítí, a vytváří zprávu o souladu uvádějící verzi a datum poslední revize pro každou aplikaci – přesně to, co bude auditor požadovat.
class PolicyManager:
"""Spravuje zásady pro obsah pro více aplikací."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Registrovat zásady pro aplikaci."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Získá zásady pro aplikaci."""
if app_id not in self.policies:
raise ValueError(f"Žádné zásady pro {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Vygeneruje globální zprávu o souladu."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Použití
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Revize a aktualizace
Tvůj dokument není vytesán do kamene. Nejčastější chybou je napsat jej jednou a pak na něj zapomenout. Zaveď rytmus: každý týden analyzuj falešně pozitivní a falešně negativní výsledky hlášené v tvých logách; každý měsíc upravuj prahové hodnoty na základě nasbíraných metrik; každé čtvrtletí proveď úplnou revizi se zástupci obchodu, právního oddělení a produktu. Přidej k tomu neprůstřelné pravidlo: po každém incidentu proveď post-mortem analýzu a implementuj okamžitou opravu, aniž bys čekal na další plánovanou revizi.
Klíčové poznatky
- Zásady pro obsah převádějí tvé technické prahové hodnoty na obchodní pravidla
- Přizpůsob prahové hodnoty kontextu: veřejné, interní, specializované
- Formalizuj zásady jako verzovaný dokument
- Centralizuj správu, pokud máš více aplikací
- Pravidelně reviduj – zásady se musí vyvíjet spolu s tvým produktem