Apibrėžkite savo turinio politiką
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. Ankstesnės politikos naudojo tris neegzistuojančias kategorijas (
hate,violence,unpredictable) ir praleidodangerous. Dabar jos atitinka vienuolika raktų išmistral-moderation-2603. Dabar yra metodas, kuris paverčia politiką oficialiuguardrailsparametro formatu, užtikrinant, kad prieš generavimą būtų taikomos nuoseklios ribos. Šaltiniai: Moderavimas ir apsaugos mechanizmai ·mistralaiSDK 3.7.0.
Kodėl tau reikia formalios turinio politikos
Moderavimo ribos nėra savavališki techniniai pasirinkimai. Jos atspindi turinio politiką – taisyklių rinkinį, apibrėžiantį, ką tavo programėlė leidžia, o ką draudžia. Be formalios politikos kiekvienas kūrėjas priima sprendimus savarankiškai, ir tavo saugumo sistema praranda nuoseklumą: tos pačios įmonės viduje dvi tarnybos pradeda blokuoti skirtingą turinį, ir niekas nežino, kodėl.
Rašytinė politika leidžia pagrįsti moderavimo sprendimus tiek naudotojams, tiek reguliuotojams, suderinti ribas tarp komandų ir programėlių, audituoti sistemos atitiktį bei struktūriškai tobulinti sistemą, kai keičiasi poreikiai. Tą dieną, kai naudotojas užginčija blokavimą, skirtumas tarp „riba nustatyta ties 0,1“ ir „mūsų viešoji politika v1.2 nustato šią ribą dėl šios priežasties“ yra didžiulis.
Ribų derinimas prie programėlės konteksto
Tas pats turinys viename kontekste gali būti priimtinas, o kitame – pavojingas. Tavo politika turi atspindėti šiuos niuansus. Geriausias būdas tai pasiekti – kiekvieną profilį aprašyti kaip įvardytą, datuotą ir dokumentuotą objektą, o ne kaip anonimišką žodyną, pasimetusį kode.
Viešai prieinamam pokalbių robotui taisyklė paprasta: visur griežta, saugumas – pirmoje vietoje. Tu nieko nežinai apie žmogų kitoje pusėje, ir gali būti nepilnamečių.
# Politika: Visur griežta, saugumas pirmoje vietoje
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Pokalbių robotas, prieinamas visiems, įskaitant nepilnamečius",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Vidiniam asistentui situacija keičiasi vienu aspektu: naudotojai yra autentifikuoti, vadinasi, juos galima identifikuoti ir jie atsako už savo veiksmus. Tai leidžia taikyti lankstesnes ribas, ypač financial ir law, nustatytas ties 0,6, nes darbuotojas, klausiantis asistento apie sutarties struktūrą, tiesiog atlieka savo darbą.
# Politika: Subalansuota, identifikuoti naudotojai
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Asistentas autentifikuotiems darbuotojams",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Specializuotas įrankis – medicinos, teisės ar finansų srityje – šią logiką nuveda iki galo: labai leidžiamas savo srityje, griežtas visur kitur. Medicinos pavyzdyje health pakyla iki 0,85, nes diagnozių aptarimas yra būtent šio įrankio funkcija, o pii nukrenta iki 0,15, nes pacientų duomenys niekada neturi cirkuliuoti. Čia pridėti du elementai, kurių nebuvo ankstesnėse politikose: blokavimo režimas su nukreipimu ir aiškus atsakomybės apribojimas.
# Politika: Leidžiama srityje, griežta kitur
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Įrankis sveikatos priežiūros specialistams",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Labai leidžiama: legitimi sritis
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Griežta: pacientų duomenys
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "Šis įrankis nepakeičia medicininės konsultacijos."
}
Politikos formalizavimas kaip dokumento
Tavo turinio politika turi būti versijuojamas dokumentas, prieinamas visoms komandoms. Python kalboje tai reiškia klasę, kuri kartu su ribomis saugo versijos numerį ir peržiūros datą, gali įvertinti balus ir sugeneruoti blokavimo žinutę, atitinkančią deklaruotą režimą.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""Struktūruotas turinio politikos atvaizdavimas."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Įvertina balus pagal politiką."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Sugeneruoja tinkamą blokavimo žinutę."""
if self.block_action == "generic_message":
return "Šio turinio apdoroti negalima."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"Turinys užblokuotas dėl šių priežasčių: "
f"{cats}. Prašome suformuluoti užklausą iš naujo.")
return "Turinys užblokuotas."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""Paverčia politiką guardrails parametru Mistral API."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
Metodas to_guardrails paverčia politiką vieninteliu tiesos šaltiniu apsaugos mechanizmams: client.chat.complete(..., guardrails=policy.to_guardrails()) arba client.beta.agents.create(..., guardrails=policy.to_guardrails()). Ribos, taikomos prieš generavimą ir po jo, nebegali skirtis.
Atkreipk dėmesį, kad evaluate rezultate yra taikytos politikos pavadinimas ir versija. Ši detalė leidžia tau po šešių mėnesių atkurti ginčytiną sprendimą, tiksliai žinant, pagal kokį režimą jis buvo priimtas.
Kelių programėlių valdymas
Jei tavo įmonė valdo kelias programėles, centralizuok politikos valdymą. Toliau pateiktas valdytojas atlieka du naudingus dalykus: jis aiškiai atsisako aptarnauti programėlę be deklaruotos politikos, taip užkertant kelią diegimui be saugos tinklų, ir sugeneruoja atitikties ataskaitą, kurioje išvardyta kiekvienos programėlės versija ir paskutinė peržiūros data – būtent to paprašys auditorius.
class PolicyManager:
"""Valdo turinio politikas kelioms programėlėms."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Registruoja politiką programėlei."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Gauna programėlės politiką."""
if app_id not in self.policies:
raise ValueError(f"Nėra politikos {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Sugeneruoja bendrą atitikties ataskaitą."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Naudojimas
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Peržiūra ir atnaujinimai
Tavo politika nėra įkalta akmenyje. Dažniausia klaida – parašyti ją vieną kartą ir pamiršti. Nustatyk ritmą: kiekvieną savaitę analizuok klaidingus teigiamus ir klaidingus neigiamus rezultatus, užfiksuotus žurnaluose; kiekvieną mėnesį koreguok ribas pagal sukauptas metrikas; kiekvieną ketvirtį atlik išsamią peržiūrą kartu su verslo, teisės ir produkto suinteresuotaisiais asmenimis. Pridėk nepraleidžiamą taisyklę: po kiekvieno incidento atlik post-mortem analizę ir nedelsiant įgyvendink pataisymą, nelaukdamas kitos suplanuotos peržiūros.
Svarbiausi punktai
- Turinio politika paverčia technines ribas verslo taisyklėmis
- Derink ribas prie konteksto: viešai prieinama, vidinė, specializuota
- Formalizuok politiką kaip versijuojamą dokumentą
- Centralizuok valdymą, jei turi kelias programėles
- Reguliariai peržiūrėk – politika turi evoliucionuoti kartu su tavo produktu