Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Iddefinixxi l-Politika tal-Kontenut Tiegħek

Lezzjoni 9 / 12 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Għaliex Għandek Bżonn Politika Formali tal-Kontenut
  2. L-Adattament tal-Limiti għall-Kuntest tal-Applikazzjoni
  3. Il-Formalizzazzjoni tal-Politika bħala Dokument
  4. Ġestjoni Multi-Applikazzjoni
  5. Reviżjoni u Aġġornamenti
  6. Punti Ewlenin

Aġġornat fit-3 ta’ Novembru, 2026. Il-politiki preċedenti kienu jużaw tliet kategoriji li ma jeżistux (hate, violence, unpredictable) u ħallew barra dangerous. Issa huma allinjati mal-ħdax-il ċavetta minn mistral-moderation-2603. Metodu ġdid jikkonverti politika fil-format uffiċjali tal-parametru guardrails, li jiżgura li jiġu applikati limiti konsistenti qabel il-ġenerazzjoni. Sorsi: Moderazzjoni u Guardrailing · SDK mistralai 3.7.0.

Għaliex Għandek Bżonn Politika Formali tal-Kontenut

Il-limiti tal-moderazzjoni mhumiex għażliet tekniċi arbitrarji. Huma jirriflettu politika tal-kontenut—sett ta’ regoli li jiddefinixxu x’jippermetti u x’jipprojbixxi l-applikazzjoni tiegħek. Mingħajr politika formali, kull żviluppatur jieħu d-deċiżjonijiet tiegħu stess, u s-sistema ta’ sigurtà tiegħek titlef il-konsistenza: żewġ servizzi fl-istess kumpanija jispiċċaw jimblokkaw kontenut differenti, mingħajr ma ħadd ikun jaf għaliex.

Politika miktuba tippermettilek tiġġustifika d-deċiżjonijiet tal-moderazzjoni kemm lill-utenti kif ukoll lir-regolaturi, tarmonizza l-limiti bejn it-timijiet u l-applikazzjonijiet, tawditja l-konformità tas-sistema, u titera b’mod strutturat hekk kif jinbidlu l-ħtiġijiet. Il-jum li utent jikkontesta blokk, id-differenza bejn “il-limitu huwa stabbilit għal 0.1” u “il-Politika Pubblika tagħna v1.2 tistabbilixxi dan il-limitu għal din ir-raġuni” hija enormi.

L-Adattament tal-Limiti għall-Kuntest tal-Applikazzjoni

L-istess kontenut jista’ jkun aċċettabbli f’kuntest wieħed u perikoluż f’ieħor. Il-politika tiegħek trid tirrifletti dawn in-nuansi. L-aħjar mod biex tikseb dan huwa li tiddeskrivi kull profil bħala oġġett imsemmi, datat u ddokumentat, minflok dizjunarju anonimu mitluf fil-kodiċi.

Għal chatbot aċċessibbli għall-pubbliku, ir-regola hija sempliċi: strett kullimkien, bis-sigurtà bħala prijorità. Int ma taf xejn dwar il-persuna fuq in-naħa l-oħra, u jista’ jkun hemm minuri preżenti.

# Policy: Strict on everything, safety first
POLICY_PUBLIC = {
    "name": "Public-Facing",
    "description": "Chatbot accessible to all, including minors",
    "thresholds": {
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "block_action": "generic_message",
    "logging": "full"
}

Assistent intern ibiddel il-logħba fuq punt wieħed: l-utenti huma awtentikati, jiġifieri huma identifikabbli u responsabbli. Dan jippermetti limiti aktar flessibbli, partikolarment fuq financial u law stabbiliti għal 0.6, peress li impjegat li jistaqsi lill-assistent dwar struttura ta’ kuntratt sempliċiment qed jagħmel ix-xogħol tiegħu.

# Policy: Balanced, identified users
POLICY_INTERNAL = {
    "name": "Internal B2B",
    "description": "Assistant for authenticated employees",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.3,
        "dangerous": 0.2,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.5,
        "financial": 0.6,
        "law": 0.6,
        "pii": 0.3,
        "jailbreaking": 0.15,
    },
    "block_action": "detailed_message",
    "logging": "full"
}

Għodda speċjalizzata—medika, legali jew finanzjarja—tieħu din il-loġika sal-konklużjoni tagħha: permissiva ħafna fid-dominju tagħha, strett kullimkien ieħor. Fl-eżempju mediku, health titla’ għal 0.85 għax id-diskussjoni tad-dijanjożi hija preċiżament il-funzjoni tal-għodda, filwaqt li pii tinżel għal 0.15 għax id-data tal-pazjenti qatt m’għandha tiċċirkola. Żewġ elementi nieqsa mill-politiki preċedenti jiżdiedu hawn: modalità ta’ blokk b’ridirezzjoni u rinunzja espliċita.

# Policy: Permissive on domain, strict elsewhere
POLICY_MEDICAL = {
    "name": "Medical Assistant",
    "description": "Tool for healthcare professionals",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.3,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.3,
        "health": 0.85,    # Very permissive: legitimate domain
        "financial": 0.3,
        "law": 0.4,
        "pii": 0.15,       # Strict: patient data
        "jailbreaking": 0.1,
    },
    "block_action": "detailed_message_with_redirect",
    "logging": "full_with_audit",
    "disclaimer": "This tool does not replace medical advice."
}

Il-Formalizzazzjoni tal-Politika bħala Dokument

Il-politika tal-kontenut tiegħek trid tkun dokument b’verżjoni aċċessibbli għat-timijiet kollha. F’Python, dan jittraduċi f’klassi li ġġorr in-numru tal-verżjoni u d-data tar-reviżjoni flimkien mal-limiti, u li tista’ kemm tevalwa l-punteġġi kif ukoll tiġġenera l-messaġġ ta’ blokk korrispondenti għall-modalità ddikjarata.

from mistralai.client.models import GuardrailConfigTypedDict


class ContentPolicy:
    """Structured representation of a content policy."""

    def __init__(self, config: dict):
        self.name = config["name"]
        self.description = config["description"]
        self.thresholds = config["thresholds"]
        self.block_action = config["block_action"]
        self.logging = config["logging"]
        self.version = config.get("version", "1.0.0")
        self.revision_date = config.get("revision_date", "2026-04-01")

    def evaluate(self, scores: dict) -> dict:
        """Evaluates scores against the policy."""
        violations = []
        for cat, threshold in self.thresholds.items():
            score = scores.get(cat, 0)
            if score > threshold:
                violations.append({
                    "category": cat,
                    "score": round(score, 3),
                    "threshold": threshold
                })

        return {
            "policy": self.name,
            "version": self.version,
            "allowed": len(violations) == 0,
            "violations": violations
        }

    def block_message(self, violations: list) -> str:
        """Generates an appropriate blocking message."""
        if self.block_action == "generic_message":
            return "This content cannot be processed."
        elif self.block_action == "detailed_message":
            cats = ", ".join(v["category"] for v in violations)
            return (f"Content blocked for the following reasons: "
                    f"{cats}. Please rephrase your request.")
        return "Content blocked."

    def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
        """Translates the policy into the guardrails parameter for the Mistral API."""
        return [
            {
                "block_on_error": True,
                "moderation_llm_v2": {
                    "custom_category_thresholds": self.thresholds,
                    "ignore_other_categories": False,
                    "action": "block",
                },
            }
        ]

Il-metodu to_guardrails jagħmel il-politika s-sors uniku ta’ verità għall-guardrails: client.chat.complete(..., guardrails=policy.to_guardrails()) jew client.beta.agents.create(..., guardrails=policy.to_guardrails()). Il-limiti applikati qabel u wara l-ġenerazzjoni ma jistgħux jidverġu aktar.

Innota wkoll li r-riżultat ta’ evaluate jinkludi l-isem u l-verżjoni tal-politika applikata. Dan id-dettall jippermettilek, sitt xhur wara, terġa’ tgħaqqad deċiżjoni kkontestata billi tkun taf eżattament taħt liema reġim ittieħdet.

Ġestjoni Multi-Applikazzjoni

Jekk il-kumpanija tiegħek timmaniġġja applikazzjonijiet multipli, iċċentralizza l-ġestjoni tal-politiki. Il-maniġer hawn taħt jagħmel żewġ affarijiet utli: jirrifjuta espliċitament li jservi applikazzjoni mingħajr politika ddikjarata, u b’hekk jipprevjeni dispjegamenti mingħajr netwerks ta’ sigurtà, u jipproduċi rapport ta’ konformità li jelenka l-verżjoni ta’ kull applikazzjoni u d-data tal-aħħar reviżjoni—eżattament dak li se jistaqsi awditur.

class PolicyManager:
    """Manages content policies for multiple applications."""

    def __init__(self):
        self.policies = {}

    def register(self, app_id: str, policy: ContentPolicy):
        """Registers a policy for an application."""
        self.policies[app_id] = policy

    def get(self, app_id: str) -> ContentPolicy:
        """Retrieves the policy for an application."""
        if app_id not in self.policies:
            raise ValueError(f"No policy for {app_id}")
        return self.policies[app_id]

    def compliance_report(self) -> dict:
        """Generates a global compliance report."""
        return {
            app_id: {
                "name": pol.name,
                "version": pol.version,
                "revision_date": pol.revision_date,
                "categories_covered": len(pol.thresholds)
            }
            for app_id, pol in self.policies.items()
        }

# Usage
manager = PolicyManager()
manager.register("chatbot-public",
    ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
    ContentPolicy(POLICY_MEDICAL))

Reviżjoni u Aġġornamenti

Il-politika tiegħek mhix imnaqqxa fil-ġebel. L-iżball l-aktar komuni huwa li tiktebha darba u mbagħad tinsa biha. Stabbilixxi ritmu: kull ġimgħa, analizza l-falzi pożittivi u l-falzi negattivi rrappurtati fil-logs tiegħek; kull xahar, aġġusta l-limiti abbażi tal-metriċi akkumulati; kull tliet xhur, wettaq reviżjoni sħiħa mal-partijiet ikkonċernati tan-negozju, legali u tal-prodott. Żid ma’ dan regola mhux negozjabbli: wara kull inċident, wettaq post-mortem u implimenta fix immedjat, mingħajr ma tistenna r-reviżjoni skedata li jmiss.

Punti Ewlenin

  • Politika tal-kontenut tittraduċi l-limiti tekniċi tiegħek f’regoli tan-negozju
  • Adatta l-limiti għall-kuntest: aċċessibbli għall-pubbliku, intern, speċjalizzat
  • Ifformalizza l-politika f’dokument b’verżjoni
  • Iċċentralizza il-ġestjoni jekk għandek applikazzjonijiet multipli
  • Irrevedi regolarment—il-politika trid tevolvi mal-prodott tiegħek