Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Moderointipisteet ja -kynnykset

Oppitunti 7 / 12 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Moderointipisteiden tulkinta
  2. Kynnysten määrittäminen: päätösmatriisi
  3. Monitasoinen luokittelujärjestelmä
  4. Käytännön esimerkki: analysoi ja päättele
  5. Kynnysten dynaaminen säätäminen
  6. Vältettävät sudenkuopat
  7. Keskeiset asiat

Päivitetty 3. marraskuuta 2026. Kynnysprofiilit viittasivat aiemmin olemattomiin kategorioihin (hate, violence, unpredictable); ne on nyt linjattu yhden avaimen kanssa mallista mistral-moderation-2603, mukaan lukien dangerous. Pisteytyksen tulkintaopas on tarkoitettu koulutusviitteeksi, sillä Mistral ei julkaise sellaista. Monitori nosti aiemmin KeyError-virheen, jos profiilista puuttui kategoria, ja käytti metodia datetime.utcnow(), joka on vanhentunut Python 3.12:sta lähtien. Lähteet: Moderation & Guardrailing · datetime.utcnow.

Moderointipisteiden tulkinta

Jokainen kategoria palauttaa pisteen väliltä 0,0–1,0. Mutta mitä nämä luvut todella tarkoittavat? Ja miten määrität sovelluksellesi päätöskynnykset? Tämä oppitunti antaa sinulle avaimet muuttaa raakatulokset automatisoiduiksi päätöksiksi – siirtyen mittauksesta politiikkaan.

Ymmärrä ensin, ettei Mistral esitä näitä pisteitä kalibroituna todennäköisyytenä. Piste 0,6 ei tarkoita “kuuden kymmenestä mahdollisuutta, että teksti on vaarallista”; se on luokittelijan vahva signaali. Dokumentaatio korostaa kahta hyödyllistä seikkaa. Vastauksen booleaaniset categories-kentät käyttävät Mistralin valitsemia kynnyksiä, jotka on optimoitu sen sisäiselle testijoukolle; voit käyttää niitä tai lähteä liikkeelle raakapisteistä ja asettaa omat kynnyksesi. Tässä testijoukossa kategorioiden tarkkuus (precision) vaihtelee välillä 0,8–1,0 ja kattavuus (recall) välillä 0,7–1,0: vääriä positiivisia ja ohitettu sisältöä esiintyy molempia, minkä vuoksi manuaalisesti viritetyt kynnykset ovat tärkeitä.

Alla oleva ruudukko ei ole Mistralin julkaisema: se on lähtökohtainen viitekehys, joka tulee validoida omilla mittareillasi.

VaihteluväliTulkinta
0,0 – 0,1Selkeästi turvallinen sisältö, signaalia ei havaittu
0,1 – 0,3Heikko signaali, mahdollisesti harmiton mutta epäselvä
0,3 – 0,5Kohtalainen signaali, mahdollisesti ongelmallista sisältöä
0,5 – 0,7Vahva signaali, erittäin todennäköisesti ongelmallista sisältöä
0,7 – 1,0Erittäin vahva signaali, ilmeisen vaarallista sisältöä

Kynnysten määrittäminen: päätösmatriisi

Kynnyksen valinta on kompromissi turvallisuuden (mahdollisimman paljon estämisen) ja käytettävyyden (värien positiivisten minimoimisen) välillä. Mikään asetus ei voita molemmilla rintamilla, ja toisen väittäminen johtaa loputtomaan edestakaiseen vääntöön. Toimiva menetelmä on määritellä kolme eksplisiittistä profiilia ja mapittaa jokainen sovellus yhteen niistä.

Tiukka profiili on suunnattu kuluttajasovellukselle, jossa alaikäisiä voi olla paikalla; tasapainotettu profiili sopii B2B-ammattisovellukselle, jossa käyttäjät on tunnistettu; salliva profiili on varattu sisäiselle työkalulle, jota asiantuntijat käyttävät ja tietävät, mitä pyytävät.

# Kolme kynnysprofiilia
PROFILES = {
    "strict": {
        # Kuluttajasovellus, lapsia mahdollisesti mukana
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B-ammattisovellus
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Sisäinen työkalu asiantuntijoille
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Vertaa health-saraketta profiilien välillä: 0,2, sitten 0,4 ja lopuksi 0,7. Sama annostusta koskeva keskustelu estetään ensimmäisessä tapauksessa ja hyväksytään viimeisessä. Käyttökonteksti ratkaisee, ei tekstin luonne.

Monitasoinen luokittelujärjestelmä

Estäminen tai hyväksyminen on liian yksinkertaistettu näkemys todellisuudesta. Ilmeisen turvallisen ja ilmeisen sääntöjä rikkovan sisällön välillä on harmaa vyöhyke, jossa oikea päätös on näyttää sisältö mutta merkitä se. Alla oleva funktio esittelee tämän kolmannen tilan: kynnyksen yli menevä estetään; yli 60 % kynnyksestä oleva varoitetaan ja lokitetaan; sitä alempi päästetään läpi.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Vihreä: turvallinen sisältö
    WARNING = "warning"    # Oranssi: valvottava sisältö
    BLOCKED = "blocked"    # Punainen: estetty sisältö

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Luokittelee sisällön kolmeen riskitasoon."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Varoitusvyöhyke: 60 % kynnyksestä
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Oranssin vyöhykkeen arvo on yhtä paljon operatiivinen kuin opettavainen: se näyttää sinulle, mikä hipoo kynnyksiäsi. Jos kategoria tuottaa paljon varoituksia ylittämättä koskaan rajaa, tiedät, että muutos muutamalla sadasosalla siirtäisi merkittävän määrän liikennettä.

Käytännön esimerkki: analysoi ja päättele

Kokonaisuus tiivistyy yhteen funktioon: kutsu luokittelija, sovella profiilia, tee päätös. Alla oleva vertailu toimii demonstraationa – parasetamoliannos estetään tiukassa profiilissa kohdassa health ja hyväksytään sallivassa profiilissa, vaikka yhtäkään tekstiriviä ei muuteta.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderoi tekstin ja tekee päätöksen profiilin perusteella."""
    # Kutsu moderointi-API:hin
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Sovella profiilin kynnykset
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Testaa eri profiileilla
text = "Take 2 paracetamol tablets every 6 hours"

# Tiukka profiili: todennäköisesti estetty (health)
result_strict = moderate_and_decide(text, "strict")

# Salliva profiili: todennäköisesti hyväksytty
result_permissive = moderate_and_decide(text, "permissive")

Kynnysten dynaaminen säätäminen

Tuotannossa kynnystesi on kehityttävä, ja ohjaat tätä kehitystä datalla. Alla oleva monitori kirjoittaa jokaisen päätöksen JSONL-tiedostoon ja ylläpitää laskureita estoille, varoituksille ja läpäisyille kategoria kerrallaan. Tuloksena oleva raportti antaa estoprosentin kategoriaa kohden – ainoa mittari, joka kertoo, onko kynnys liian matala.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Kerää moderointimittareita kynnysten säätämiseksi."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Lokittaa moderointipäätöksen."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Päivitä laskurit
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generoi raportin kynnysten säätämiseksi."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Vältettävät sudenkuopat

Ensimmäinen sudenkuoppa on yksi kynnys, jota sovelletaan kaikkiin kategorioihin. Jokaisella kategorialla on oma pistejakaumansa: kynnys 0,3 kohdassa hate_and_discrimination ei tarkoita samaa kuin 0,3 kohdassa health, jossa legitiimi sisältö elää luonnostaan asteikolla ylempänä. Säädä jokaista kategoriaa erikseen, vaikka se tarkoittaisikin yhdenentoista päätöksen tekemistä yhden sijaan.

Toinen on värien positiivisten ignorointi. Korkea estoprosenti syö käyttäjien luottamusta paljon nopeammin kuin yksittäinen tapaus, koska se vaikuttaa hyvässä uskossa toimiviin ihmisiin. Seuraa estoprosenttia kategoriaa kohden ja nosta kynnyksiä, kun data sen oikeuttaa.

Kolmas, salakavalampi virhe, on päätösten lokittamatta jättäminen. Ilman lokeja et voi säätää kynnyksiäsi informoidusti, ja palaat mielipiteisiin perustuviin keskusteluihin. Tallenna systemaattisesti pisteet, sovelletut kynnykset ja tehdyt päätökset – tämä corpus on se, mikä tekee seuraavasta revisiosta nopean ja kiistattoman.

Keskeiset asiat

  • Pisteet vaihtelevat välillä 0,0–1,0; ne eivät ole kalibroituja todennäköisyyksiä, ja Mistral kannustaa asettamaan omat kynnyksesi
  • Määrittele kynnysprofiilit, jotka on mukautettu kontekstiisi (tiukka, tasapainotettu, salliva)
  • Toteuta 3-tasoinen järjestelmä: turvallinen, varoitus, estetty
  • Lokita kaikki päätökset kynnystesi jatkuvaan säätämiseen
  • Jokainen kategoria vaatii oman kynnyksensä – mikään yksittäinen arvo ei sovi kaikille