Määratle oma sisupoliitika
Sellel lehel
Uuendatud 3. novembril 2026. Eelmised poliitikad kasutasid kolme olematut kategooriat (
hate,violence,unpredictable) ja jätsid väljadangerous. Nüüd on need kooskõlas üheteistkümne võtmega mudelistmistral-moderation-2603. Lisatud on meetod poliitika teisendamiseks ametlikkuguardrailsparameetri formaati, tagades enne genereerimist järjepidevate lävendite rakendamise. Allikad: Moderation & Guardrailing ·mistralaiSDK 3.7.0.
Miks on vaja formaalset sisupoliitikat
Moderatsiooni lävendid ei ole suvalised tehnilised valikud. Need peegeldavad sisupoliitikat – reeglite kogumit, mis määratleb, mida sinu rakendus lubab ja mida keelab. Ilma formaalse poliitikata teeb iga arendaja oma otsuseid ja sinu turvasüsteem kaotab järjepidevuse: kaks sama ettevõtte teenust hakkavad blokeerima erinevat sisu, ilma et keegi teaks, miks.
Kirjalik poliitika võimaldab põhjendada moderatsiooniotsuseid nii kasutajatele kui ka reguleerijatele, ühtlustada lävendeid meeskondade ja rakenduste lõikes, auditeerida süsteemi vastavust ning vajaduste muutudes struktureeritult iteratsioone teha. Päeval, kui kasutaja vaidlustab blokeeringu, on tohutu vahe selles, kas öelda „lävend on seatud väärtusele 0,1“ või „meie avaliku suhtluse poliitika v1.2 seab selle lävendi järgmisel põhjusel“.
Lävendite kohandamine rakenduse kontekstiga
Sama sisu võib ühes kontekstis olla vastuvõetav ja teises ohtlik. Sinu poliitika peab neid nüansse arvestama. Parim viis selle saavutamiseks on kirjeldada iga profiili kui nimetatud, dateeritud ja dokumenteeritud objekti, mitte kui anonüümset sõnastikku, mis koodi sisse kaob.
Avaliku vestlusroboti puhul on reegel lihtne: kõikjal range, ohutus esikohal. Sa ei tea midagi teisest otsast tulevast inimesest ja kohal võivad olla alaealised.
# Poliitika: Kõiges range, ohutus esikohal
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Kõigile, sealhulgas alaealistele kättesaadav vestlusrobot",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Sisemine assistent muudab mängu ühes punktis: kasutajad on autentitud, mis tähendab, et nad on identifitseeritavad ja vastutavad. See võimaldab paindlikumaid lävendeid, eriti kategooriates financial ja law, mis on seatud väärtusele 0,6, kuna töötaja, kes küsib assistendilt lepingu struktuuri kohta, teeb lihtsalt oma tööd.
# Poliitika: Tasakaalustatud, identifitseeritud kasutajad
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Autenditud töötajatele mõeldud assistent",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Spetsialiseeritud tööriist – meditsiini-, õigus- või finantsvaldkonnas – viib selle loogika lõpuni: oma valdkonnas väga lubav, mujal range. Meditsiini näites tõuseb health väärtusele 0,85, sest diagnoosidest rääkimine ongi tööriista ülesanne, samas pii langeb väärtusele 0,15, kuna patsiendi andmed ei tohi kunagi levida. Siia on lisatud kaks elementi, mida eelmistes poliitikates polnud: blokeerimisrežiim ümbersuunamisega ja selge lahtiütlemine.
# Poliitika: Valdkonnas lubav, mujal range
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Tervishoiutöötajatele mõeldud tööriist",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Väga lubav: legitiimne valdkond
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Range: patsiendi andmed
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "See tööriist ei asenda meditsiinilist nõuannet."
}
Poliitika formaliseerimine dokumendina
Sinu sisupoliitika peab olema versioneeritud dokument, mis on kõigile meeskondadele kättesaadav. Pythonis tähendab see klassi, mis kannab koos lävenditega ka versiooninumbrit ja läbivaatamise kuupäeva ning suudab nii hinnata skooride vastavust kui ka genereerida deklareeritud režiimile vastava blokeerimissõnumi.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""Sisupoliitika struktureeritud esitus."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Hindab skoore poliitika alusel."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Genereerib sobiva blokeerimissõnumi."""
if self.block_action == "generic_message":
return "Seda sisu ei saa töödelda."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"Sisu blokeeriti järgmistel põhjustel: "
f"{cats}. Palun sõnasta oma päring ümber.")
return "Sisu blokeeritud."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""Teisendab poliitika Mistral API guardrails parameetriks."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
Meetod to_guardrails teeb poliitikast guardrailside ainsa tõeallika: client.chat.complete(..., guardrails=policy.to_guardrails()) või client.beta.agents.create(..., guardrails=policy.to_guardrails()). Enne ja pärast genereerimist rakendatavad lävendid ei saa enam erineda.
Pane tähele ka seda, et evaluate tulemus sisaldab rakendatud poliitika nime ja versiooni. See detail võimaldab sul kuus kuud hiljem vaidlustatud otsust taasesitada, teades täpselt, millise režiimi alusel see tehti.
Mitme rakenduse haldamine
Kui sinu ettevõte haldab mitut rakendust, tsentraliseeri poliitikate haldamine. Allpool olev haldur teeb kahte kasulikku asja: see keeldub sõnaselgelt teenindamast rakendust, millel pole deklareeritud poliitikat, takistades seeläbi turvavõrgustikuta kasutuselevõtte, ja see koostab vastavusaruande, mis loetleb iga rakenduse versiooni ja viimase läbivaatamise kuupäeva – täpselt seda, mida audiitor küsib.
class PolicyManager:
"""Haldab sisupoliitikaid mitmele rakendusele."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Registreerib rakendusele poliitika."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Toob rakenduse poliitika."""
if app_id not in self.policies:
raise ValueError(f"Poliitikat pole rakendusele {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Genereerib üldise vastavusaruande."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Kasutamine
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Läbivaatamine ja uuendused
Sinu poliitika ei ole kivisse raiutud. Kõige levinum viga on kirjutada see üks kord ja siis unustada. Kehtesta rütm: igal nädalal analüüsi logides teatatud valepositiivseid ja valenegatiivseid tulemusi; igal kuul kohanda lävendeid kogunenud meetrikate põhjal; igal kvartalil vii läbi täielik läbivaatamine koos äri-, juriidiliste ja toote huvirühmadega. Lisage sellele tingimusteta reegel: pärast iga intsidenti tee järelanalüüs ja rakenda viivitamatu parandus, ootamata järgmist planeeritud ülevaatust.
Peamised punktid
- Sisupoliitika tõlgib sinu tehnilised lävendid ärireegliteks
- Kohanda lävendid kontekstiga: avalik, sisemine, spetsialiseeritud
- Formaliseeri poliitika versioneeritud dokumendina
- Tsentraliseeri haldamine, kui sul on mitu rakendust
- Vaata regulaarselt üle – poliitika peab arenema koos sinu tootega