Definē savu satura politiku
Šajā lapā
Atjaunināts 2026. gada 3. novembrī. Iepriekšējās politikas izmantoja trīs neeksistējošas kategorijas (
hate,violence,unpredictable) un izlaidadangerous. Tagad tās ir saskaņotas ar vienpadsmit atslēgām nomistral-moderation-2603. Ir ieviesta metode, kas pārvērš politiku oficiālajāguardrailsparametra formātā, nodrošinot, ka pirms ģenerēšanas tiek piemēroti konsekventi sliekšņi. Avoti: Moderācija un aizsargbarjeras ·mistralaiSDK 3.7.0.
Kāpēc tev ir nepieciešama formāla satura politika
Moderācijas sliekšņi nav patvaļīga tehniska izvēle. Tie atspoguļo satura politiku — noteikumu kopumu, kas definē, ko tava lietotne atļauj un ko aizliedz. Bez formālas politikas katrs izstrādātājs pieņem lēmumus pēc sava ieskata, un tavas drošības sistēmas konsekvence pazūd: divi servisi vienā uzņēmumā beidz bloķēt atšķirīgu saturu, un neviens nezina kāpēc.
Rakstiska politika ļauj attaisnot moderācijas lēmumus gan lietotāju, gan regulatoru priekšā, saskaņot sliekšņus starp komandām un lietotnēm, auditēt sistēmas atbilstību un strukturēti pilnveidot procesu, mainoties vajadzībām. Dienā, kad lietotājs apstrīd bloķēšanu, atšķirība starp “slieksnis ir iestatīts uz 0,1” un “mūsu publiskā politika v1.2 nosaka šo slieksni šī iemesla dēļ” ir milzīga.
Sliekšņu pielāgošana lietotnes kontekstam
Tas pats saturs vienā kontekstā var būt pieņemams, bet citā — bīstams. Tavai politikai ir jāatspoguļo šīs nianses. Labākais veids, kā to panākt, ir aprakstīt katru profilu kā nosauktu, datētu un dokumentētu objektu, nevis kā anonīmu vārdnīcu, kas pazudusi kodā.
Publiski pieejamam čatbotam noteikums ir vienkāršs: visur stingri, prioritāte ir drošībai. Tu neko nezini par personu otrā pusē, un tur var atrasties nepilngadīgie.
# Politika: Stingra visam, drošība pirmajā vietā
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Čatbots, pieejams visiem, ieskaitot nepilngadīgos",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Iekšējais asistents maina situāciju vienā punktā: lietotāji ir autentificēti, kas nozīmē, ka tie ir identificējami un atbildīgi. Tas ļauj izmantot elastīgākus sliekšņus, jo īpaši attiecībā uz financial un law, kas iestatīti uz 0,6, jo darbinieks, kas jautā asistentam par līguma struktūru, vienkārši dara savu darbu.
# Politika: Līdzsvarota, identificēti lietotāji
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Asistents autentificētiem darbiniekiem",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Specializēts rīks — medicīnas, juridisks vai finanšu — noved šo loģiku līdz galam: ļoti liberāls savā jomā, stingrs visur citur. Medicīnas piemērā health pieaug līdz 0,85, jo diagnožu apspriešana ir tieši šī rīka funkcija, savukārt pii nokrītas līdz 0,15, jo pacientu dati nedrīkst nekādā gadījumā cirkulēt. Šeit tiek pievienoti divi elementi, kas iepriekšējās politikās nebija: bloķēšanas režīms ar pāradresāciju un skaidrs atrunas paziņojums.
# Politika: Liberāla jomā, stingra citur
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Rīks veselības aprūpes speciālistiem",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Ļoti liberāls: likumīga joma
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Stingrs: pacientu dati
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "Šis rīks neaizstāj medicīnisko konsultāciju."
}
Politikas formalizēšana kā dokuments
Tavam satura politikas dokumentam ir jābūt versijai piesaistītam un pieejamam visām komandām. Python valodā tas pārvēršas klasē, kas nes versijas numuru un pārskatīšanas datumu līdzās sliekšņiem un kas spēj gan novērtēt rezultātus, gan ģenerēt bloķēšanas ziņojumu atbilstoši deklarētajam režīmam.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""Satura politikas strukturēts attēlojums."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Novērtē rezultātus atbilstoši politikai."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Ģenerē atbilstošu bloķēšanas ziņojumu."""
if self.block_action == "generic_message":
return "Šo saturu nevar apstrādāt."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"Saturu bloķēja šādu iemeslu dēļ: "
f"{cats}. Lūdzu, pārformulē savu pieprasījumu.")
return "Saturu bloķēja."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""Pārvērš politiku guardrails parametrā Mistral API vajadzībām."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
Metode to_guardrails padara politiku par vienīgo patiesības avotu aizsargbarjerām: client.chat.complete(..., guardrails=policy.to_guardrails()) vai client.beta.agents.create(..., guardrails=policy.to_guardrails()). Sliekšņi, kas piemēroti pirms un pēc ģenerēšanas, vairs nevar atšķirties.
Ņem vērā arī to, ka evaluate rezultāts ietver piemērotās politikas nosaukumu un versiju. Šī detaļa ļauj tev pēc sešiem mēnešiem atkārtoti izspēlēt apstrīdētu lēmumu, zinot precīzi, kādā režīmā tas tika pieņemts.
Daudzu lietotņu pārvaldība
Ja tavs uzņēmums pārvalda vairākas lietotnes, centralizē politikas pārvaldību. Tālāk redzamais menedžeris dara divas noderīgas lietas: tas tieši atsakās apkalpot lietotni bez deklarētas politikas, novēršot izvēršanu bez drošības tīkliem, un tas ģenerē atbilstības ziņojumu, kurā uzskaitīta katras lietotnes versija un pēdējais pārskatīšanas datums — tieši to, ko prasīs auditors.
class PolicyManager:
"""Pārvalda satura politikas vairākām lietotnēm."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Reģistrē politiku lietotnei."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Iegūst lietotnes politiku."""
if app_id not in self.policies:
raise ValueError(f"Nav politikas priekš {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Ģenerē globālu atbilstības ziņojumu."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Lietošana
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Pārskatīšana un atjauninājumi
Tava politika nav iekalta akmenī. Visbiežākā kļūda ir to uzrakstīt vienreiz un pēc tam aizmirst. Izveido ritmu: katru nedēļu analizē viltus pozitīvos un viltus negatīvos rezultātus, kas reģistrēti žurnālos; katru mēnesi pielāgo sliekšņus, balstoties uz uzkrātajiem rādītājiem; katru ceturksni veic pilnu pārskatīšanu kopā ar biznesa, juridisko un produktu ieinteresētajām personām. Pievieno tam noteikumu, no kura neatkāpties: pēc katra incidenta veic pēcnāves analīzi (post-mortem) un ievies tūlītēju labojumu, negaidot nākamo plānoto pārskatīšanu.
Galvenās atziņas
- Satura politika pārvērš tavus tehniskos sliekšņus biznesa noteikumos
- Pielāgo sliekšņus kontekstam: publiski pieejams, iekšējs, specializēts
- Formalizē politiku kā dokumentu ar versiju kontroli
- Centralizē pārvaldību, ja tev ir vairākas lietotnes
- Pārskati regulāri — politikai ir jāattīstās līdz ar tavu produktu