Iddefinixxi l-Politika tal-Kontenut Tiegħek
F'din il-paġna
Aġġornat fit-3 ta’ Novembru, 2026. Il-politiki preċedenti kienu jużaw tliet kategoriji li ma jeżistux (
hate,violence,unpredictable) u ħallew barradangerous. Issa huma allinjati mal-ħdax-il ċavetta minnmistral-moderation-2603. Metodu ġdid jikkonverti politika fil-format uffiċjali tal-parametruguardrails, li jiżgura li jiġu applikati limiti konsistenti qabel il-ġenerazzjoni. Sorsi: Moderazzjoni u Guardrailing · SDKmistralai3.7.0.
Għaliex Għandek Bżonn Politika Formali tal-Kontenut
Il-limiti tal-moderazzjoni mhumiex għażliet tekniċi arbitrarji. Huma jirriflettu politika tal-kontenut—sett ta’ regoli li jiddefinixxu x’jippermetti u x’jipprojbixxi l-applikazzjoni tiegħek. Mingħajr politika formali, kull żviluppatur jieħu d-deċiżjonijiet tiegħu stess, u s-sistema ta’ sigurtà tiegħek titlef il-konsistenza: żewġ servizzi fl-istess kumpanija jispiċċaw jimblokkaw kontenut differenti, mingħajr ma ħadd ikun jaf għaliex.
Politika miktuba tippermettilek tiġġustifika d-deċiżjonijiet tal-moderazzjoni kemm lill-utenti kif ukoll lir-regolaturi, tarmonizza l-limiti bejn it-timijiet u l-applikazzjonijiet, tawditja l-konformità tas-sistema, u titera b’mod strutturat hekk kif jinbidlu l-ħtiġijiet. Il-jum li utent jikkontesta blokk, id-differenza bejn “il-limitu huwa stabbilit għal 0.1” u “il-Politika Pubblika tagħna v1.2 tistabbilixxi dan il-limitu għal din ir-raġuni” hija enormi.
L-Adattament tal-Limiti għall-Kuntest tal-Applikazzjoni
L-istess kontenut jista’ jkun aċċettabbli f’kuntest wieħed u perikoluż f’ieħor. Il-politika tiegħek trid tirrifletti dawn in-nuansi. L-aħjar mod biex tikseb dan huwa li tiddeskrivi kull profil bħala oġġett imsemmi, datat u ddokumentat, minflok dizjunarju anonimu mitluf fil-kodiċi.
Għal chatbot aċċessibbli għall-pubbliku, ir-regola hija sempliċi: strett kullimkien, bis-sigurtà bħala prijorità. Int ma taf xejn dwar il-persuna fuq in-naħa l-oħra, u jista’ jkun hemm minuri preżenti.
# Policy: Strict on everything, safety first
POLICY_PUBLIC = {
"name": "Public-Facing",
"description": "Chatbot accessible to all, including minors",
"thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"block_action": "generic_message",
"logging": "full"
}
Assistent intern ibiddel il-logħba fuq punt wieħed: l-utenti huma awtentikati, jiġifieri huma identifikabbli u responsabbli. Dan jippermetti limiti aktar flessibbli, partikolarment fuq financial u law stabbiliti għal 0.6, peress li impjegat li jistaqsi lill-assistent dwar struttura ta’ kuntratt sempliċiment qed jagħmel ix-xogħol tiegħu.
# Policy: Balanced, identified users
POLICY_INTERNAL = {
"name": "Internal B2B",
"description": "Assistant for authenticated employees",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.3,
"dangerous": 0.2,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.5,
"financial": 0.6,
"law": 0.6,
"pii": 0.3,
"jailbreaking": 0.15,
},
"block_action": "detailed_message",
"logging": "full"
}
Għodda speċjalizzata—medika, legali jew finanzjarja—tieħu din il-loġika sal-konklużjoni tagħha: permissiva ħafna fid-dominju tagħha, strett kullimkien ieħor. Fl-eżempju mediku, health titla’ għal 0.85 għax id-diskussjoni tad-dijanjożi hija preċiżament il-funzjoni tal-għodda, filwaqt li pii tinżel għal 0.15 għax id-data tal-pazjenti qatt m’għandha tiċċirkola. Żewġ elementi nieqsa mill-politiki preċedenti jiżdiedu hawn: modalità ta’ blokk b’ridirezzjoni u rinunzja espliċita.
# Policy: Permissive on domain, strict elsewhere
POLICY_MEDICAL = {
"name": "Medical Assistant",
"description": "Tool for healthcare professionals",
"thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.3,
"health": 0.85, # Very permissive: legitimate domain
"financial": 0.3,
"law": 0.4,
"pii": 0.15, # Strict: patient data
"jailbreaking": 0.1,
},
"block_action": "detailed_message_with_redirect",
"logging": "full_with_audit",
"disclaimer": "This tool does not replace medical advice."
}
Il-Formalizzazzjoni tal-Politika bħala Dokument
Il-politika tal-kontenut tiegħek trid tkun dokument b’verżjoni aċċessibbli għat-timijiet kollha. F’Python, dan jittraduċi f’klassi li ġġorr in-numru tal-verżjoni u d-data tar-reviżjoni flimkien mal-limiti, u li tista’ kemm tevalwa l-punteġġi kif ukoll tiġġenera l-messaġġ ta’ blokk korrispondenti għall-modalità ddikjarata.
from mistralai.client.models import GuardrailConfigTypedDict
class ContentPolicy:
"""Structured representation of a content policy."""
def __init__(self, config: dict):
self.name = config["name"]
self.description = config["description"]
self.thresholds = config["thresholds"]
self.block_action = config["block_action"]
self.logging = config["logging"]
self.version = config.get("version", "1.0.0")
self.revision_date = config.get("revision_date", "2026-04-01")
def evaluate(self, scores: dict) -> dict:
"""Evaluates scores against the policy."""
violations = []
for cat, threshold in self.thresholds.items():
score = scores.get(cat, 0)
if score > threshold:
violations.append({
"category": cat,
"score": round(score, 3),
"threshold": threshold
})
return {
"policy": self.name,
"version": self.version,
"allowed": len(violations) == 0,
"violations": violations
}
def block_message(self, violations: list) -> str:
"""Generates an appropriate blocking message."""
if self.block_action == "generic_message":
return "This content cannot be processed."
elif self.block_action == "detailed_message":
cats = ", ".join(v["category"] for v in violations)
return (f"Content blocked for the following reasons: "
f"{cats}. Please rephrase your request.")
return "Content blocked."
def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
"""Translates the policy into the guardrails parameter for the Mistral API."""
return [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": self.thresholds,
"ignore_other_categories": False,
"action": "block",
},
}
]
Il-metodu to_guardrails jagħmel il-politika s-sors uniku ta’ verità għall-guardrails: client.chat.complete(..., guardrails=policy.to_guardrails()) jew client.beta.agents.create(..., guardrails=policy.to_guardrails()). Il-limiti applikati qabel u wara l-ġenerazzjoni ma jistgħux jidverġu aktar.
Innota wkoll li r-riżultat ta’ evaluate jinkludi l-isem u l-verżjoni tal-politika applikata. Dan id-dettall jippermettilek, sitt xhur wara, terġa’ tgħaqqad deċiżjoni kkontestata billi tkun taf eżattament taħt liema reġim ittieħdet.
Ġestjoni Multi-Applikazzjoni
Jekk il-kumpanija tiegħek timmaniġġja applikazzjonijiet multipli, iċċentralizza l-ġestjoni tal-politiki. Il-maniġer hawn taħt jagħmel żewġ affarijiet utli: jirrifjuta espliċitament li jservi applikazzjoni mingħajr politika ddikjarata, u b’hekk jipprevjeni dispjegamenti mingħajr netwerks ta’ sigurtà, u jipproduċi rapport ta’ konformità li jelenka l-verżjoni ta’ kull applikazzjoni u d-data tal-aħħar reviżjoni—eżattament dak li se jistaqsi awditur.
class PolicyManager:
"""Manages content policies for multiple applications."""
def __init__(self):
self.policies = {}
def register(self, app_id: str, policy: ContentPolicy):
"""Registers a policy for an application."""
self.policies[app_id] = policy
def get(self, app_id: str) -> ContentPolicy:
"""Retrieves the policy for an application."""
if app_id not in self.policies:
raise ValueError(f"No policy for {app_id}")
return self.policies[app_id]
def compliance_report(self) -> dict:
"""Generates a global compliance report."""
return {
app_id: {
"name": pol.name,
"version": pol.version,
"revision_date": pol.revision_date,
"categories_covered": len(pol.thresholds)
}
for app_id, pol in self.policies.items()
}
# Usage
manager = PolicyManager()
manager.register("chatbot-public",
ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
ContentPolicy(POLICY_MEDICAL))
Reviżjoni u Aġġornamenti
Il-politika tiegħek mhix imnaqqxa fil-ġebel. L-iżball l-aktar komuni huwa li tiktebha darba u mbagħad tinsa biha. Stabbilixxi ritmu: kull ġimgħa, analizza l-falzi pożittivi u l-falzi negattivi rrappurtati fil-logs tiegħek; kull xahar, aġġusta l-limiti abbażi tal-metriċi akkumulati; kull tliet xhur, wettaq reviżjoni sħiħa mal-partijiet ikkonċernati tan-negozju, legali u tal-prodott. Żid ma’ dan regola mhux negozjabbli: wara kull inċident, wettaq post-mortem u implimenta fix immedjat, mingħajr ma tistenna r-reviżjoni skedata li jmiss.
Punti Ewlenin
- Politika tal-kontenut tittraduċi l-limiti tekniċi tiegħek f’regoli tan-negozju
- Adatta l-limiti għall-kuntest: aċċessibbli għall-pubbliku, intern, speċjalizzat
- Ifformalizza l-politika f’dokument b’verżjoni
- Iċċentralizza il-ġestjoni jekk għandek applikazzjonijiet multipli
- Irrevedi regolarment—il-politika trid tevolvi mal-prodott tiegħek