Határozd meg a tartalmi szabályzatodat
Ezen az oldalon
Frissítve: 2026. november 3. A korábbi szabályzatok három nem létező kategóriát (
hate,violence,unpredictable) használtak, és kihagyták adangerouskategóriát. Most már összhangban vannak amistral-moderation-2603tizenegy kulcsával. Egy új módszer lehetővé teszi a szabályzat hivatalosguardrailsparaméterformátummá alakítását, biztosítva, hogy a generálás előtt egységes küszöbértékek érvényesüljenek. Források: Moderation & Guardrailing ·mistralaiSDK 3.7.0.
Miért van szükséged hivatalos tartalmi szabályzatra?
A moderációs küszöbértékek nem önkényes technikai döntések. Egy tartalmi szabályzatot tükröznek – ez a szabályok összessége határozza meg, hogy az alkalmazásod mit engedélyez és mit tilt. Hivatalos szabályzat nélkül minden fejlesztő saját belátása szerint dönt, és a biztonsági rendszer elveszíti az egységességét: ugyanazon a vállalaton belül két szolgáltatás eltérő tartalmakat blokkol, anélkül hogy bárki tudná, miért.
Egy írott szabályzat segítségével indokolni tudod a moderációs döntéseidet mind a felhasználók, mind a szabályozó hatóságok felé, harmonizálod a küszöbértékeket a csapatok és alkalmazások között, auditálod a rendszer megfelelőségét, és strukturált módon iterálsz, ahogy az igények változnak. Amikor egy felhasználó vitat egy blokkolást, hatalmas különbség van aközött, hogy „a küszöbérték 0,1-re van állítva“, illetve hogy „a Nyilvános Szabályzatunk 1.2-es verziója ezért az okból állítja be ezt a küszöbértéket“.
A küszöbértékek igazítása az alkalmazás kontextusához
Ugyanaz a tartalom egyik kontextusban elfogadható, másikban veszélyes lehet. A szabályzatodnak tükröznie kell ezeket az árnyalatokat. Ennek legjobb módja, ha minden profilt névvel, dátummal és dokumentációval ellátott objektumként írsz le, nem pedig névtelen szótárként, amely elveszik a kódban.
Egy nyilvános chatbot esetén a szabály egyszerű: mindenhol szigorú, a biztonság az első. Nem tudsz semmit a másik oldalon lévő személyről, és kiskorúak is jelen lehetnek.
# Szabályzat: Mindenben szigorú, első a biztonság
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Mindenki, beleértve a kiskorúakat is, hozzáférhet",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Egy belső asszisztens esetén egy ponton megváltozik a helyzet: a felhasználók hitelesítettek, azonosíthatók és felelősségre vonhatók. Ez rugalmasabb küszöbértékeket tesz lehetővé, különösen a financial és law kategóriákban, amelyeket 0,6-ra állítunk, mivel egy alkalmazott, aki szerkezeti kérdésekben kérdezi az asszisztenst, egyszerűen csak végzi a munkáját.
# Szabályzat: Kiegyensúlyozott, azonosított felhasználók
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Hitelesített alkalmazottak asszisztense",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Egy specializált eszköz – orvosi, jogi vagy pénzügyi – ezt a logikát a végletekig viszi: a saját területén nagyon megengedő, minden máshol szigorú. Az orvosi példában a health érték 0,85-re nő, mert a diagnózisok megvitatása pontosan az eszköz feladata, míg a pii 0,15-re csökken, mivel a betegadatok soha nem keringhetnek szabadon. Itt két, a korábbi szabályzatokból hiányzó elemet is hozzáadunk: egy átirányítással járó blokkolási módot és egy kifejezett felelősségkizáró nyilatkozatot.
# Szabályzat: Megengedő a szakterületen, szigorú máshol
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Eszköz egészségügyi szakemberek számára",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Nagyon megengedő: legitim szakterület
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Szigorú: betegadatok
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "Ez az eszköz nem helyettesíti az orvosi tanácsadást."
}
A szabályzat dokumentumként való formalizálása
A tartalmi szabályzatodnak egy verziókezelt, minden csapat számára hozzáférhető dokumentumnak kell lennie. Pythonban ez egy olyan osztályt jelent, amely a küszöbértékek mellett tartalmazza a verziószámot és a felülvizsgálat dátumát, képes kiértékelni a pontszámokat, és generálni a deklarált módnak megfelelő blokkoló üzenetet.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""A tartalmi szabályzat strukturált reprezentációja."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Kiértékeli a pontszámokat a szabályzat alapján."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Létrehoz egy megfelelő blokkoló üzenetet."""
if self.block_action == "generic_message":
return "Ezt a tartalmat nem lehet feldolgozni."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"A tartalom blokkolva a következő okok miatt: "
f"{cats}. Kérjük, fogalmazd át a kérésedet.")
return "Tartalom blokkolva."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""A szabályzatot a Mistral API guardrails paraméterévé alakítja."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
A to_guardrails módszer teszi a szabályzatot a guardrailok egyetlen igazságforrásává: client.chat.complete(..., guardrails=policy.to_guardrails()) vagy client.beta.agents.create(..., guardrails=policy.to_guardrails()). A generálás előtt és után alkalmazott küszöbértékek többé nem térhetnek el.
Vedd észre azt is, hogy az evaluate eredménye tartalmazza az alkalmazott szabályzat nevét és verzióját. Ez a részlet lehetővé teszi, hogy hat hónap múlva, egy vitatott döntést visszajátszva pontosan tudd, melyik rendszer alapján született.
Több alkalmazás kezelése
Ha a vállalatod több alkalmazást kezel, központosítsd a szabályzatkezelést. Az alábbi kezelő két hasznos dolgot csinál: kifejezetten megtagadja a kiszolgálást olyan alkalmazás számára, amelynek nincs deklarált szabályzata, így megelőzi a biztonsági hálók nélküli telepítéseket, valamint megfelelőségi jelentést készít, amely felsorolja az egyes alkalmazások verzióját és utolsó felülvizsgálati dátumát – pontosan azt, amit egy auditor kérni fog.
class PolicyManager:
"""Tartalmi szabályzatok kezelése több alkalmazáshoz."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Regisztrál egy szabályzatot egy alkalmazáshoz."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Lekéri egy alkalmazás szabályzatát."""
if app_id not in self.policies:
raise ValueError(f"Nincs szabályzat ehhez: {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Globális megfelelőségi jelentést generál."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Használat
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Felülvizsgálat és frissítések
A szabályzatod nincs kőbe vésve. A leggyakoribb hiba, ha egyszer megírod, majd elfelejted. Állíts fel egy ritmust: minden héten elemezd a naplókban reported hamis pozitív és hamis negatív eseteket; minden hónapban igazítsd a küszöbértékeket a felhalmozott metrikák alapján; minden negyedévben végezz teljes felülvizsgálatot az üzleti, jogi és termékérdekelt felekkel. Ehhez járuljon egy alkupozíció nélküli szabály: minden incidens után végezz utóelemzést (post-mortem), és hajts végre azonnali javítást, anélkül hogy megvárnád a következő ütemezett felülvizsgálatot.
Főbb megállapítások
- A tartalmi szabályzat a technikai küszöbértékeidet üzleti szabályokká alakítja
- Igazítsd a küszöbértékeket a kontextushoz: nyilvános, belső, specializált
- Formalizáld a szabályzatot egy verziókezelt dokumentumban
- Központosítsd a kezelést, ha több alkalmazásod van
- Vizsgáld felül rendszeresen – a szabályzatnak együtt kell fejlődnie a termékeddel