Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Määritä sisältöpolitiikkasi

Oppitunti 9 / 12 Päivitetty 29. heinäkuuta 2026 Kehittäjä
Tällä sivulla
  1. Miksi tarvitset virallisen sisältöpolitiikan
  2. Kynnysarvojen räätälöinti sovelluskontekstin mukaan
  3. Politiikan formalisointi dokumentiksi
  4. Usean sovelluksen hallinta
  5. Tarkistukset ja päivitykset
  6. Keskeiset asiat

Päivitetty 3. marraskuuta 2026. Aiemmat käytännöt käyttivät kolmea olematonta kategoriaa (hate, violence, unpredictable) ja jättivät dangerous-kategorian huomiotta. Ne on nyt yhdenmukaistettu mistral-moderation-2603:n yhden avaimen kanssa. Menetelmä muuntaa politiikan viralliseen guardrails-parametrin muotoon, varmistaen johdonmukaisten kynnysarvojen soveltamisen ennen sisällön tuottamista. Lähteet: Moderation & Guardrailing · mistralai SDK 3.7.0.

Miksi tarvitset virallisen sisältöpolitiikan

Moderointikynnykset eivät ole mielivaltaisia teknisiä valintoja. Ne heijastavat sisältöpolitiikkaa – sääntöjoukkoa, joka määrittelee, mitä sovelluksesi sallii ja kieltää. Ilman virallista politiikkaa jokainen kehittäjä tekee omat päätöksensä, ja turvallisuusjärjestelmäsi menettää johdonmukaisuutensa: kaksi samaan yritykseen kuuluvaa palvelua päätyvät estämään eri sisältöä, kenenkään tietämättä miksi.

Kirjallinen politiikka antaa sinulle mahdollisuuden perustella moderointipäätökset sekä käyttäjille että viranomaisille, yhdenmukaistaa kynnysarvot tiimien ja sovellusten välillä, auditoida järjestelmän vaatimustenmukaisuutta ja iteroida rakenteellisella tavalla tarpeiden muuttuessa. Sinä päivänä, kun käyttäjä haastaa eston, ero lauseiden “kynnysarvo on asetettu arvoon 0,1” ja “julkinen politiikkamme v1.2 asettaa tämän kynnyksen tästä syystä” välillä on valtava.

Kynnysarvojen räätälöinti sovelluskontekstin mukaan

Sama sisältö voi olla hyväksyttävää yhdessä kontekstissa ja vaarallista toisessa. Politiikkasi täytyy heijastaa näitä vivahteita. Paras tapa saavuttaa tämä on kuvata jokainen profiili nimettynä, päivättynä ja dokumentoituna objektina, eikä anonyyminä sanakirjana, joka katoaa koodiin.

Julkiselle chatbotille sääntö on yksinkertainen: tiukka kaikkialla, turvallisuus etusijalla. Et tiedä mitään vastapuolesta, ja paikalla voi olla alaikäisiä.

# Policy: Strict on everything, safety first
POLICY_PUBLIC = {
    "name": "Public-Facing",
    "description": "Chatbot accessible to all, including minors",
    "thresholds": {
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "block_action": "generic_message",
    "logging": "full"
}

Sisäinen assistentti muuttaa tilannetta yhdessä kohdassa: käyttäjät on tunnistettu, mikä tarkoittaa, että heidät voidaan tunnistaa ja he ovat vastuullisia. Tämä mahdollistaa joustavammat kynnysarvot, erityisesti kohdissa financial ja law, jotka on asetettu arvoon 0,6, sillä työntekijä, joka kysyy assistentilta sopimusrakenteesta, tekee vain työtään.

# Policy: Balanced, identified users
POLICY_INTERNAL = {
    "name": "Internal B2B",
    "description": "Assistant for authenticated employees",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.3,
        "dangerous": 0.2,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.5,
        "financial": 0.6,
        "law": 0.6,
        "pii": 0.3,
        "jailbreaking": 0.15,
    },
    "block_action": "detailed_message",
    "logging": "full"
}

Erikoistyökalu – lääketieteellinen, juridinen tai taloudellinen – vie tämän logiikan loogiseen johtopäätökseen: erittäin salliva omalla toimialallaan, tiukka kaikkialla muualla. Lääketieteellisessä esimerkissä health nousee arvoon 0,85, koska diagnooseista keskusteleminen on nimenomaan työkalun tehtävä, kun taas pii laskee arvoon 0,15, sillä potilastiedot eivät saa koskaan kiertää järjestelmässä. Tähän on lisätty kaksi aiemmista politiikoista puuttuvaa elementtiä: estotila uudelleenohjauksella ja selkeä vastuuvapauslauseke.

# Policy: Permissive on domain, strict elsewhere
POLICY_MEDICAL = {
    "name": "Medical Assistant",
    "description": "Tool for healthcare professionals",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.3,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.3,
        "health": 0.85,    # Very permissive: legitimate domain
        "financial": 0.3,
        "law": 0.4,
        "pii": 0.15,       # Strict: patient data
        "jailbreaking": 0.1,
    },
    "block_action": "detailed_message_with_redirect",
    "logging": "full_with_audit",
    "disclaimer": "This tool does not replace medical advice."
}

Politiikan formalisointi dokumentiksi

Sisältöpolitiikkasi täytyy olla versioitu dokumentti, joka on kaikkien tiimien saatavilla. Pythonissa tämä tarkoittaa luokkaa, joka kantaa versionumeron ja tarkistuspäivämäärän kynnysarvojen rinnalla, ja joka pystyy sekä arvioimaan pisteitä että tuottamaan ilmoitetun tilan mukaisen estoviestin.

from mistralai.client.models import GuardrailConfigTypedDict


class ContentPolicy:
    """Structured representation of a content policy."""

    def __init__(self, config: dict):
        self.name = config["name"]
        self.description = config["description"]
        self.thresholds = config["thresholds"]
        self.block_action = config["block_action"]
        self.logging = config["logging"]
        self.version = config.get("version", "1.0.0")
        self.revision_date = config.get("revision_date", "2026-04-01")

    def evaluate(self, scores: dict) -> dict:
        """Evaluates scores against the policy."""
        violations = []
        for cat, threshold in self.thresholds.items():
            score = scores.get(cat, 0)
            if score > threshold:
                violations.append({
                    "category": cat,
                    "score": round(score, 3),
                    "threshold": threshold
                })

        return {
            "policy": self.name,
            "version": self.version,
            "allowed": len(violations) == 0,
            "violations": violations
        }

    def block_message(self, violations: list) -> str:
        """Generates an appropriate blocking message."""
        if self.block_action == "generic_message":
            return "This content cannot be processed."
        elif self.block_action == "detailed_message":
            cats = ", ".join(v["category"] for v in violations)
            return (f"Content blocked for the following reasons: "
                    f"{cats}. Please rephrase your request.")
        return "Content blocked."

    def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
        """Translates the policy into the guardrails parameter for the Mistral API."""
        return [
            {
                "block_on_error": True,
                "moderation_llm_v2": {
                    "custom_category_thresholds": self.thresholds,
                    "ignore_other_categories": False,
                    "action": "block",
                },
            }
        ]

Metodi to_guardrails tekee politiikasta ainoan totuuden lähteen guardrails-asetuksille: client.chat.complete(..., guardrails=policy.to_guardrails()) tai client.beta.agents.create(..., guardrails=policy.to_guardrails()). Ennen tuottamista ja sen jälkeen sovelletut kynnysarvot eivät voi enää poiketa toisistaan.

Huomaa myös, että evaluate-metodin tulos sisältää sovelletun politiikan nimen ja version. Tämä yksityiskohta antaa sinulle mahdollisuuden kuusi kuukautta myöhemmin toistaa kiistanalaisen päätöksen tietäen tarkasti, minkä järjestelmän alla se tehtiin.

Usean sovelluksen hallinta

Jos yrityksesi hallinnoi useita sovelluksia, keskitä politiikan hallinta. Alla oleva hallinnoija tekee kaksi hyödyllistä asiaa: se kieltäytyy nimenomaisesti palvelemasta sovellusta, jolle ei ole määritelty politiikkaa, estäen käyttöönotot ilman turvaverkkoja, ja se tuottaa vaatimustenmukaisuusraportin, joka listaa kunkin sovelluksen version ja viimeisimmän tarkistuspäivämäärän – täsmälleen sen, mitä auditoija kysyy.

class PolicyManager:
    """Manages content policies for multiple applications."""

    def __init__(self):
        self.policies = {}

    def register(self, app_id: str, policy: ContentPolicy):
        """Registers a policy for an application."""
        self.policies[app_id] = policy

    def get(self, app_id: str) -> ContentPolicy:
        """Retrieves the policy for an application."""
        if app_id not in self.policies:
            raise ValueError(f"No policy for {app_id}")
        return self.policies[app_id]

    def compliance_report(self) -> dict:
        """Generates a global compliance report."""
        return {
            app_id: {
                "name": pol.name,
                "version": pol.version,
                "revision_date": pol.revision_date,
                "categories_covered": len(pol.thresholds)
            }
            for app_id, pol in self.policies.items()
        }

# Usage
manager = PolicyManager()
manager.register("chatbot-public",
    ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
    ContentPolicy(POLICY_MEDICAL))

Tarkistukset ja päivitykset

Politiikkasi ei ole kiveen hakattu. Yleisin virhe on kirjoittaa se kerran ja unohtaa se sitten. Luo rytmi: joka viikko analysoi lokeistasi raportoidut väärät positiiviset ja väärät negatiiviset tulokset; joka kuukausi säädä kynnysarvoja kertyneiden mittareiden perusteella; joka neljännes suorita täydellinen tarkistus yhdessä liiketoiminnan, juridisen tiimin ja tuotevastaavien kanssa. Lisää tähän ehdoton sääntö: jokaisen välikohtauksen jälkeen suorita jälkianalyysi ja toteuta välitön korjaus odottamatta seuraavaa suunniteltua katselmusta.

Keskeiset asiat

  • Sisältöpolitiikka kääntää tekniset kynnysarvosi liiketoimintasäännöiksi
  • Räätälöi kynnysarvot kontekstin mukaan: julkinen, sisäinen, erikoistunut
  • Formalisoi politiikka versioituun dokumenttiin
  • Keskitä hallinta, jos sinulla on useita sovelluksia
  • Tarkista säännöllisesti – politiikan täytyy kehittyä tuotteesi mukana