Definiți politica dumneavoastră de conținut
Pe această pagină
Actualizat la 3 noiembrie 2026. Politicile anterioare foloseau trei categorii inexistente (
hate,violence,unpredictable) și omiteaudangerous. Acestea sunt acum aliniate cu cele unsprezece chei dinmistral-moderation-2603. O metodă convertește acum o politică în formatul oficial al parametruluiguardrails, asigurând aplicarea unor praguri consistente înainte de generare. Surse: Moderare și Guardrailing · SDKmistralai3.7.0.
De ce aveți nevoie de o politică formală de conținut
Pragurile de moderare nu sunt alegeri tehnice arbitrare. Ele reflectă o politică de conținut—un set de reguli care definesc ceea ce aplicația dumneavoastră permite și interzice. Fără o politică formală, fiecare dezvoltator ia propriile decizii, iar sistemul dumneavoastră de securitate își pierde consistența: două servicii din cadrul aceleiași companii ajung să blocheze conținuturi diferite, fără ca nimeni să știe de ce.
O politică scrisă vă permite să justificați deciziile de moderare atât în fața utilizatorilor, cât și a autorităților de reglementare, să armonizați pragurile între echipe și aplicații, să auditați conformitatea sistemului și să iterați într-un mod structurat pe măsură ce nevoile se schimbă. În ziua în care un utilizator contestă un blocaj, diferența dintre „pragul este setat la 0.1“ și „Politica noastră publică v1.2 stabilește acest prag din acest motiv“ este uriașă.
Adaptarea pragurilor la contextul aplicației
Același conținut poate fi acceptabil într-un context și periculos în altul. Politica dumneavoastră trebuie să reflecte aceste nuanțe. Cel mai bun mod de a realiza acest lucru este descrierea fiecărui profil ca un obiect numit, datat și documentat, mai degrabă decât un dicționar anonim pierdut în cod.
Pentru un chatbot accesibil publicului, regula este simplă: strict peste tot, cu siguranța ca prioritate. Nu știți nimic despre persoana din celălalt capăt, iar minori pot fi prezenți.
# Politică: Strict pe toate, siguranța pe primul loc
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Chatbot accesibil tuturor, inclusiv minorilor",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Un asistent intern schimbă regulile jocului într-un singur punct: utilizatorii sunt autentificați, ceea ce înseamnă că sunt identificabili și responsabili. Acest lucru permite praguri mai flexibile, în special pentru financial și law setate la 0.6, deoarece un angajat care interoghează asistentul despre structura unui contract își face doar treaba.
# Politică: Echilibrată, utilizatori identificați
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Asistent pentru angajați autentificați",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Un instrument specializat—medical, juridic sau financiar—duce această logică la concluzia sa: foarte permisiv în domeniul său, strict peste tot în rest. În exemplul medical, health crește la 0.85 deoarece discutarea diagnosticelor este chiar funcția instrumentului, în timp ce pii scade la 0.15 deoarece datele pacienților nu trebuie să circule niciodată. Două elemente absente din politicile anterioare sunt adăugate aici: un mod de blocare cu redirecționare și un avertisment explicit.
# Politică: Permisiv pe domeniu, strict în rest
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Instrument pentru profesioniștii din sănătate",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Foarte permisiv: domeniu legitim
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Strict: datele pacienților
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "Acest instrument nu înlocuiește sfatul medical."
}
Formalizarea politicii ca document
Politica dumneavoastră de conținut trebuie să fie un document versionat, accesibil tuturor echipelor. În Python, acest lucru se traduce printr-o clasă care poartă numărul versiunii și data reviziei alături de praguri și care poate atât să evalueze scorurile, cât și să genereze mesajul de blocare corespunzător modului declarat.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""Reprezentare structurată a unei politici de conținut."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Evaluează scorurile în funcție de politică."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Generează un mesaj de blocare adecvat."""
if self.block_action == "generic_message":
return "Acest conținut nu poate fi procesat."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"Conținut blocat din următoarele motive: "
f"{cats}. Vă rugăm să reformulați cererea.")
return "Conținut blocat."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""Traduce politica în parametrul guardrails pentru API-ul Mistral."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
Metoda to_guardrails face ca politica să fie singura sursă de adevăr pentru guardrails: client.chat.complete(..., guardrails=policy.to_guardrails()) sau client.beta.agents.create(..., guardrails=policy.to_guardrails()). Pragurile aplicate înainte și după generare nu mai pot diverge.
Rețineți, de asemenea, că rezultatul lui evaluate include numele și versiunea politicii aplicate. Acest detaliu vă permite, peste șase luni, să rejucati o decizie contestată știind exact sub care regim a fost luată.
Gestionarea multi-aplicație
Dacă compania dumneavoastră gestionează mai multe aplicații, centralizați gestionarea politicilor. Managerul de mai jos face două lucruri utile: refuză în mod explicit să servească o aplicație fără o politică declarată, prevenind implementările fără plase de siguranță, și produce un raport de conformitate care listează versiunea și data ultimei revizii pentru fiecare aplicație—exact ceea ce va cere un auditor.
class PolicyManager:
"""Gestionează politicile de conținut pentru mai multe aplicații."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Înregistrează o politică pentru o aplicație."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Recuperează politica pentru o aplicație."""
if app_id not in self.policies:
raise ValueError(f"Nicio politică pentru {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Generează un raport global de conformitate."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Utilizare
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Revizuire și actualizări
Politica dumneavoastră nu este bătută în cuie. Cea mai frecventă greșeală este scrierea ei o singură dată și apoi uitarea ei. Stabiliți un ritm: în fiecare săptămână, analizați falsurile pozitive și falsurile negative raportate în jurnalele dumneavoastră; în fiecare lună, ajustați pragurile pe baza metricilor acumulate; în fiecare trimestru, efectuați o revizuire completă cu părțile interesate din departamentele de business, juridic și produs. Adăugați la aceasta o regulă non-negociabilă: după fiecare incident, efectuați o analiză post-mortem și implementați o remediere imediată, fără a aștepta următoarea revizuire programată.
Puncte cheie
- O politică de conținut traduce pragurile dumneavoastră tehnice în reguli de business
- Adaptați pragurile la context: accesibil publicului, intern, specializat
- Formalizați politica într-un document versionat
- Centralizați gestionarea dacă aveți mai multe aplicații
- Revizuiți regulat—politica trebuie să evolueze odată cu produsul dumneavoastră