Moderointipisteet ja -kynnykset
Tällä sivulla
Päivitetty 3. marraskuuta 2026. Kynnysprofiilit viittasivat aiemmin olemattomiin kategorioihin (
hate,violence,unpredictable); ne on nyt linjattu yhden avaimen kanssa mallistamistral-moderation-2603, mukaan lukiendangerous. Pisteytyksen tulkintaopas on tarkoitettu koulutusviitteeksi, sillä Mistral ei julkaise sellaista. Monitori nosti aiemminKeyError-virheen, jos profiilista puuttui kategoria, ja käytti metodiadatetime.utcnow(), joka on vanhentunut Python 3.12:sta lähtien. Lähteet: Moderation & Guardrailing · datetime.utcnow.
Moderointipisteiden tulkinta
Jokainen kategoria palauttaa pisteen väliltä 0,0–1,0. Mutta mitä nämä luvut todella tarkoittavat? Ja miten määrität sovelluksellesi päätöskynnykset? Tämä oppitunti antaa sinulle avaimet muuttaa raakatulokset automatisoiduiksi päätöksiksi – siirtyen mittauksesta politiikkaan.
Ymmärrä ensin, ettei Mistral esitä näitä pisteitä kalibroituna todennäköisyytenä. Piste 0,6 ei tarkoita “kuuden kymmenestä mahdollisuutta, että teksti on vaarallista”; se on luokittelijan vahva signaali. Dokumentaatio korostaa kahta hyödyllistä seikkaa. Vastauksen booleaaniset categories-kentät käyttävät Mistralin valitsemia kynnyksiä, jotka on optimoitu sen sisäiselle testijoukolle; voit käyttää niitä tai lähteä liikkeelle raakapisteistä ja asettaa omat kynnyksesi. Tässä testijoukossa kategorioiden tarkkuus (precision) vaihtelee välillä 0,8–1,0 ja kattavuus (recall) välillä 0,7–1,0: vääriä positiivisia ja ohitettu sisältöä esiintyy molempia, minkä vuoksi manuaalisesti viritetyt kynnykset ovat tärkeitä.
Alla oleva ruudukko ei ole Mistralin julkaisema: se on lähtökohtainen viitekehys, joka tulee validoida omilla mittareillasi.
| Vaihteluväli | Tulkinta |
|---|---|
| 0,0 – 0,1 | Selkeästi turvallinen sisältö, signaalia ei havaittu |
| 0,1 – 0,3 | Heikko signaali, mahdollisesti harmiton mutta epäselvä |
| 0,3 – 0,5 | Kohtalainen signaali, mahdollisesti ongelmallista sisältöä |
| 0,5 – 0,7 | Vahva signaali, erittäin todennäköisesti ongelmallista sisältöä |
| 0,7 – 1,0 | Erittäin vahva signaali, ilmeisen vaarallista sisältöä |
Kynnysten määrittäminen: päätösmatriisi
Kynnyksen valinta on kompromissi turvallisuuden (mahdollisimman paljon estämisen) ja käytettävyyden (värien positiivisten minimoimisen) välillä. Mikään asetus ei voita molemmilla rintamilla, ja toisen väittäminen johtaa loputtomaan edestakaiseen vääntöön. Toimiva menetelmä on määritellä kolme eksplisiittistä profiilia ja mapittaa jokainen sovellus yhteen niistä.
Tiukka profiili on suunnattu kuluttajasovellukselle, jossa alaikäisiä voi olla paikalla; tasapainotettu profiili sopii B2B-ammattisovellukselle, jossa käyttäjät on tunnistettu; salliva profiili on varattu sisäiselle työkalulle, jota asiantuntijat käyttävät ja tietävät, mitä pyytävät.
# Kolme kynnysprofiilia
PROFILES = {
"strict": {
# Kuluttajasovellus, lapsia mahdollisesti mukana
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B-ammattisovellus
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Sisäinen työkalu asiantuntijoille
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Vertaa health-saraketta profiilien välillä: 0,2, sitten 0,4 ja lopuksi 0,7. Sama annostusta koskeva keskustelu estetään ensimmäisessä tapauksessa ja hyväksytään viimeisessä. Käyttökonteksti ratkaisee, ei tekstin luonne.
Monitasoinen luokittelujärjestelmä
Estäminen tai hyväksyminen on liian yksinkertaistettu näkemys todellisuudesta. Ilmeisen turvallisen ja ilmeisen sääntöjä rikkovan sisällön välillä on harmaa vyöhyke, jossa oikea päätös on näyttää sisältö mutta merkitä se. Alla oleva funktio esittelee tämän kolmannen tilan: kynnyksen yli menevä estetään; yli 60 % kynnyksestä oleva varoitetaan ja lokitetaan; sitä alempi päästetään läpi.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Vihreä: turvallinen sisältö
WARNING = "warning" # Oranssi: valvottava sisältö
BLOCKED = "blocked" # Punainen: estetty sisältö
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Luokittelee sisällön kolmeen riskitasoon."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Varoitusvyöhyke: 60 % kynnyksestä
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Oranssin vyöhykkeen arvo on yhtä paljon operatiivinen kuin opettavainen: se näyttää sinulle, mikä hipoo kynnyksiäsi. Jos kategoria tuottaa paljon varoituksia ylittämättä koskaan rajaa, tiedät, että muutos muutamalla sadasosalla siirtäisi merkittävän määrän liikennettä.
Käytännön esimerkki: analysoi ja päättele
Kokonaisuus tiivistyy yhteen funktioon: kutsu luokittelija, sovella profiilia, tee päätös. Alla oleva vertailu toimii demonstraationa – parasetamoliannos estetään tiukassa profiilissa kohdassa health ja hyväksytään sallivassa profiilissa, vaikka yhtäkään tekstiriviä ei muuteta.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderoi tekstin ja tekee päätöksen profiilin perusteella."""
# Kutsu moderointi-API:hin
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Sovella profiilin kynnykset
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Testaa eri profiileilla
text = "Take 2 paracetamol tablets every 6 hours"
# Tiukka profiili: todennäköisesti estetty (health)
result_strict = moderate_and_decide(text, "strict")
# Salliva profiili: todennäköisesti hyväksytty
result_permissive = moderate_and_decide(text, "permissive")
Kynnysten dynaaminen säätäminen
Tuotannossa kynnystesi on kehityttävä, ja ohjaat tätä kehitystä datalla. Alla oleva monitori kirjoittaa jokaisen päätöksen JSONL-tiedostoon ja ylläpitää laskureita estoille, varoituksille ja läpäisyille kategoria kerrallaan. Tuloksena oleva raportti antaa estoprosentin kategoriaa kohden – ainoa mittari, joka kertoo, onko kynnys liian matala.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Kerää moderointimittareita kynnysten säätämiseksi."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Lokittaa moderointipäätöksen."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Päivitä laskurit
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Generoi raportin kynnysten säätämiseksi."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Vältettävät sudenkuopat
Ensimmäinen sudenkuoppa on yksi kynnys, jota sovelletaan kaikkiin kategorioihin. Jokaisella kategorialla on oma pistejakaumansa: kynnys 0,3 kohdassa hate_and_discrimination ei tarkoita samaa kuin 0,3 kohdassa health, jossa legitiimi sisältö elää luonnostaan asteikolla ylempänä. Säädä jokaista kategoriaa erikseen, vaikka se tarkoittaisikin yhdenentoista päätöksen tekemistä yhden sijaan.
Toinen on värien positiivisten ignorointi. Korkea estoprosenti syö käyttäjien luottamusta paljon nopeammin kuin yksittäinen tapaus, koska se vaikuttaa hyvässä uskossa toimiviin ihmisiin. Seuraa estoprosenttia kategoriaa kohden ja nosta kynnyksiä, kun data sen oikeuttaa.
Kolmas, salakavalampi virhe, on päätösten lokittamatta jättäminen. Ilman lokeja et voi säätää kynnyksiäsi informoidusti, ja palaat mielipiteisiin perustuviin keskusteluihin. Tallenna systemaattisesti pisteet, sovelletut kynnykset ja tehdyt päätökset – tämä corpus on se, mikä tekee seuraavasta revisiosta nopean ja kiistattoman.
Keskeiset asiat
- Pisteet vaihtelevat välillä 0,0–1,0; ne eivät ole kalibroituja todennäköisyyksiä, ja Mistral kannustaa asettamaan omat kynnyksesi
- Määrittele kynnysprofiilit, jotka on mukautettu kontekstiisi (tiukka, tasapainotettu, salliva)
- Toteuta 3-tasoinen järjestelmä: turvallinen, varoitus, estetty
- Lokita kaikki päätökset kynnystesi jatkuvaan säätämiseen
- Jokainen kategoria vaatii oman kynnyksensä – mikään yksittäinen arvo ei sovi kaikille