Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Määratle oma sisupoliitika

Õppetund 9 / 12 Värskendatud 29. juuli 2026 Arendajatele
Sellel lehel
  1. Miks on vaja formaalset sisupoliitikat
  2. Lävendite kohandamine rakenduse kontekstiga
  3. Poliitika formaliseerimine dokumendina
  4. Mitme rakenduse haldamine
  5. Läbivaatamine ja uuendused
  6. Peamised punktid

Uuendatud 3. novembril 2026. Eelmised poliitikad kasutasid kolme olematut kategooriat (hate, violence, unpredictable) ja jätsid välja dangerous. Nüüd on need kooskõlas üheteistkümne võtmega mudelist mistral-moderation-2603. Lisatud on meetod poliitika teisendamiseks ametlikku guardrails parameetri formaati, tagades enne genereerimist järjepidevate lävendite rakendamise. Allikad: Moderation & Guardrailing · mistralai SDK 3.7.0.

Miks on vaja formaalset sisupoliitikat

Moderatsiooni lävendid ei ole suvalised tehnilised valikud. Need peegeldavad sisupoliitikat – reeglite kogumit, mis määratleb, mida sinu rakendus lubab ja mida keelab. Ilma formaalse poliitikata teeb iga arendaja oma otsuseid ja sinu turvasüsteem kaotab järjepidevuse: kaks sama ettevõtte teenust hakkavad blokeerima erinevat sisu, ilma et keegi teaks, miks.

Kirjalik poliitika võimaldab põhjendada moderatsiooniotsuseid nii kasutajatele kui ka reguleerijatele, ühtlustada lävendeid meeskondade ja rakenduste lõikes, auditeerida süsteemi vastavust ning vajaduste muutudes struktureeritult iteratsioone teha. Päeval, kui kasutaja vaidlustab blokeeringu, on tohutu vahe selles, kas öelda „lävend on seatud väärtusele 0,1“ või „meie avaliku suhtluse poliitika v1.2 seab selle lävendi järgmisel põhjusel“.

Lävendite kohandamine rakenduse kontekstiga

Sama sisu võib ühes kontekstis olla vastuvõetav ja teises ohtlik. Sinu poliitika peab neid nüansse arvestama. Parim viis selle saavutamiseks on kirjeldada iga profiili kui nimetatud, dateeritud ja dokumenteeritud objekti, mitte kui anonüümset sõnastikku, mis koodi sisse kaob.

Avaliku vestlusroboti puhul on reegel lihtne: kõikjal range, ohutus esikohal. Sa ei tea midagi teisest otsast tulevast inimesest ja kohal võivad olla alaealised.

# Poliitika: Kõiges range, ohutus esikohal
POLICY_PUBLIC = {
    "name": "Public-Facing",
    "description": "Kõigile, sealhulgas alaealistele kättesaadav vestlusrobot",
    "thresholds": {
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "block_action": "generic_message",
    "logging": "full"
}

Sisemine assistent muudab mängu ühes punktis: kasutajad on autentitud, mis tähendab, et nad on identifitseeritavad ja vastutavad. See võimaldab paindlikumaid lävendeid, eriti kategooriates financial ja law, mis on seatud väärtusele 0,6, kuna töötaja, kes küsib assistendilt lepingu struktuuri kohta, teeb lihtsalt oma tööd.

# Poliitika: Tasakaalustatud, identifitseeritud kasutajad
POLICY_INTERNAL = {
    "name": "Internal B2B",
    "description": "Autenditud töötajatele mõeldud assistent",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.3,
        "dangerous": 0.2,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.5,
        "financial": 0.6,
        "law": 0.6,
        "pii": 0.3,
        "jailbreaking": 0.15,
    },
    "block_action": "detailed_message",
    "logging": "full"
}

Spetsialiseeritud tööriist – meditsiini-, õigus- või finantsvaldkonnas – viib selle loogika lõpuni: oma valdkonnas väga lubav, mujal range. Meditsiini näites tõuseb health väärtusele 0,85, sest diagnoosidest rääkimine ongi tööriista ülesanne, samas pii langeb väärtusele 0,15, kuna patsiendi andmed ei tohi kunagi levida. Siia on lisatud kaks elementi, mida eelmistes poliitikates polnud: blokeerimisrežiim ümbersuunamisega ja selge lahtiütlemine.

# Poliitika: Valdkonnas lubav, mujal range
POLICY_MEDICAL = {
    "name": "Medical Assistant",
    "description": "Tervishoiutöötajatele mõeldud tööriist",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.3,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.3,
        "health": 0.85,    # Väga lubav: legitiimne valdkond
        "financial": 0.3,
        "law": 0.4,
        "pii": 0.15,       # Range: patsiendi andmed
        "jailbreaking": 0.1,
    },
    "block_action": "detailed_message_with_redirect",
    "logging": "full_with_audit",
    "disclaimer": "See tööriist ei asenda meditsiinilist nõuannet."
}

Poliitika formaliseerimine dokumendina

Sinu sisupoliitika peab olema versioneeritud dokument, mis on kõigile meeskondadele kättesaadav. Pythonis tähendab see klassi, mis kannab koos lävenditega ka versiooninumbrit ja läbivaatamise kuupäeva ning suudab nii hinnata skooride vastavust kui ka genereerida deklareeritud režiimile vastava blokeerimissõnumi.

from mistralai.client.models import GuardrailConfigTypedDict


class ContentPolicy:
    """Sisupoliitika struktureeritud esitus."""

    def __init__(self, config: dict):
        self.name = config["name"]
        self.description = config["description"]
        self.thresholds = config["thresholds"]
        self.block_action = config["block_action"]
        self.logging = config["logging"]
        self.version = config.get("version", "1.0.0")
        self.revision_date = config.get("revision_date", "2026-04-01")

    def evaluate(self, scores: dict) -> dict:
        """Hindab skoore poliitika alusel."""
        violations = []
        for cat, threshold in self.thresholds.items():
            score = scores.get(cat, 0)
            if score > threshold:
                violations.append({
                    "category": cat,
                    "score": round(score, 3),
                    "threshold": threshold
                })

        return {
            "policy": self.name,
            "version": self.version,
            "allowed": len(violations) == 0,
            "violations": violations
        }

    def block_message(self, violations: list) -> str:
        """Genereerib sobiva blokeerimissõnumi."""
        if self.block_action == "generic_message":
            return "Seda sisu ei saa töödelda."
        elif self.block_action == "detailed_message":
            cats = ", ".join(v["category"] for v in violations)
            return (f"Sisu blokeeriti järgmistel põhjustel: "
                    f"{cats}. Palun sõnasta oma päring ümber.")
        return "Sisu blokeeritud."

    def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
        """Teisendab poliitika Mistral API guardrails parameetriks."""
        return [
            {
                "block_on_error": True,
                "moderation_llm_v2": {
                    "custom_category_thresholds": self.thresholds,
                    "ignore_other_categories": False,
                    "action": "block",
                },
            }
        ]

Meetod to_guardrails teeb poliitikast guardrailside ainsa tõeallika: client.chat.complete(..., guardrails=policy.to_guardrails()) või client.beta.agents.create(..., guardrails=policy.to_guardrails()). Enne ja pärast genereerimist rakendatavad lävendid ei saa enam erineda.

Pane tähele ka seda, et evaluate tulemus sisaldab rakendatud poliitika nime ja versiooni. See detail võimaldab sul kuus kuud hiljem vaidlustatud otsust taasesitada, teades täpselt, millise režiimi alusel see tehti.

Mitme rakenduse haldamine

Kui sinu ettevõte haldab mitut rakendust, tsentraliseeri poliitikate haldamine. Allpool olev haldur teeb kahte kasulikku asja: see keeldub sõnaselgelt teenindamast rakendust, millel pole deklareeritud poliitikat, takistades seeläbi turvavõrgustikuta kasutuselevõtte, ja see koostab vastavusaruande, mis loetleb iga rakenduse versiooni ja viimase läbivaatamise kuupäeva – täpselt seda, mida audiitor küsib.

class PolicyManager:
    """Haldab sisupoliitikaid mitmele rakendusele."""

    def __init__(self):
        self.policies = {}

    def register(self, app_id: str, policy: ContentPolicy):
        """Registreerib rakendusele poliitika."""
        self.policies[app_id] = policy

    def get(self, app_id: str) -> ContentPolicy:
        """Toob rakenduse poliitika."""
        if app_id not in self.policies:
            raise ValueError(f"Poliitikat pole rakendusele {app_id}")
        return self.policies[app_id]

    def compliance_report(self) -> dict:
        """Genereerib üldise vastavusaruande."""
        return {
            app_id: {
                "name": pol.name,
                "version": pol.version,
                "revision_date": pol.revision_date,
                "categories_covered": len(pol.thresholds)
            }
            for app_id, pol in self.policies.items()
        }

# Kasutamine
manager = PolicyManager()
manager.register("chatbot-public",
    ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
    ContentPolicy(POLICY_MEDICAL))

Läbivaatamine ja uuendused

Sinu poliitika ei ole kivisse raiutud. Kõige levinum viga on kirjutada see üks kord ja siis unustada. Kehtesta rütm: igal nädalal analüüsi logides teatatud valepositiivseid ja valenegatiivseid tulemusi; igal kuul kohanda lävendeid kogunenud meetrikate põhjal; igal kvartalil vii läbi täielik läbivaatamine koos äri-, juriidiliste ja toote huvirühmadega. Lisage sellele tingimusteta reegel: pärast iga intsidenti tee järelanalüüs ja rakenda viivitamatu parandus, ootamata järgmist planeeritud ülevaatust.

Peamised punktid

  • Sisupoliitika tõlgib sinu tehnilised lävendid ärireegliteks
  • Kohanda lävendid kontekstiga: avalik, sisemine, spetsialiseeritud
  • Formaliseeri poliitika versioneeritud dokumendina
  • Tsentraliseeri haldamine, kui sul on mitu rakendust
  • Vaata regulaarselt üle – poliitika peab arenema koos sinu tootega