Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Moderatsiooni skoorid ja lävendids

Õppetund 7 / 12 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Moderatsiooni skooride tõlgendamine
  2. Lävendite määratlemine: otsustusmaatriks
  3. Mitmetasemeline klassifitseerimissüsteem
  4. Lahendatud näide: analüüsi ja otsusta
  5. Lävendite dünaamiline kohandamine
  6. Lõksud, mida vältida
  7. Peamised punktid

Uuendatud 3. novembril 2026. Varem viitasid lävendiprofiilid olematutele kategooriatele (hate, violence, unpredictable); nüüd on need kooskõlas mudeli mistral-moderation-2603 üheteistkümne võtmega, sealhulgas dangerous. Skooride tõlgendamise juhend on esitatud õppematerjalina, kuna Mistral seda ametlikult ei avalda. Monitor tõstis varem KeyError iga profiilist puuduva kategooria korral ja kasutas meetodit datetime.utcnow(), mis on alates Pythoni versioonist 3.12 aegunud. Allikad: Moderation & Guardrailing · datetime.utcnow.

Moderatsiooni skooride tõlgendamine

Iga kategooria tagastab skoori vahemikus 0,0 kuni 1,0. Aga mida need numbrid tegelikult tähendavad? Ja kuidas määrata oma rakenduse jaoks otsustuslävendeid? See õppetund annab sulle võtmed, kuidas muuta toorskoorid automatiseeritud otsusteks – liikudes mõõtmiselt poliitikale.

Kõigepealt mõista, et Mistral ei esita neid skoore kalibreeritud tõenäosustena. Skoor 0,6 ei tähenda „kuuekümneprotsendilist tõenäosust, et see tekst on ohtlik“; see on klassifikaatori tugev signaal. Dokumentatsioon toob välja kaks olulist punkti. Vastuses olevad booleväärtusega categories rakendavad lävendeid, mille Mistral on valinud optimaalseks toimivuseks oma sisetestikomplektis; saad kasutada neid või alustada toorskooridest ja määrata oma lävendid. Selles testkomplektis on kategooriate täpsus (precision) vahemikus 0,8 kuni 1,0 ja meeldetuletus (recall) vahemikus 0,7 kuni 1,0: esineb nii valepositiivseid tulemusi kui ka vahelejäänud sisu, mistõttu on käsitsi häälestatud lävendid nii olulised.

Allpool olev tabel ei ole Mistrali poolt avaldatud: see on lähtepunkt, mida valideerida oma meetrikate vastu.

VahemikTõlgendus
0,0 – 0,1Selgelt ohutu sisu, signaali ei tuvastatud
0,1 – 0,3Nõrk signaal, võimalik, et kahjutu, kuid mitmetimõistetav
0,3 – 0,5Mõõdukas signaal, potentsiaalselt problemaatiline sisu
0,5 – 0,7Tugev signaal, väga tõenäoliselt problemaatiline sisu
0,7 – 1,0Väga tugev signaal, ilmselgelt ohtlik sisu

Lävendite määratlemine: otsustusmaatriks

Lävenni valik on kompromiss ohutuse (blokeerida nii palju kui võimalik) ja kasutatavuse (minimeerida valepositiivseid tulemusi) vahel. Ükski seadistus ei võida mõlemal rindel ja vastupidine väitmine viib lõputu tagasipööramiseni. Töömeetod seisneb kolme selge profiili defineerimises ja iga rakenduse ühele neist kaardistamises.

Range profiil on suunatud tarbijarakendusele, kus võivad viibida alaealised; tasakaalustatud profiil sobib B2B professionaalsele rakendusele identifitseeritud kasutajatega; lubav profiil on reserveeritud sisesele tööriistale, mida haldavad eksperdid, kes teavad, mida nad küsivad.

# Kolm lävendiprofiili
PROFILES = {
    "strict": {
        # Tarbijarakendus, võimalikud lapsed
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B professionaalne rakendus
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Sisene tööriist ekspertidele
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Võrdle veergu health erinevates profiilides: 0,2, seejärel 0,4 ja lõpuks 0,7. Sama annustamist puudutav vahetus blokeeritakse esimesel juhul ja aktsepteeritakse viimasel, ilma et tekst ise muutuks. Otsuse teeb kasutuskontekst, mitte teksti olemus.

Mitmetasemeline klassifitseerimissüsteem

Blokeerimine või aktsepteerimine on liialdatud lihtsustatud vaade reaalsusele. Ilmselgelt ohutu sisu ja ilmselgelt reegleid rikkiva sisu vahel asub hall tsoon, kus õige otsus on sisu kuvada, kuid see märgistada. Allpool olev funktsioon tutvustab seda kolmandat olekut: üle lävendi – blokeeri; üle 60% lävendist – hoiata ja logi; sellest allpool – lase läbi.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Roheline: ohutu sisu
    WARNING = "warning"    # Oranž: jälgitav sisu
    BLOCKED = "blocked"    # Punane: blokeeritud sisu

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Klassifitseerib sisu kolme riskitasemesse."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Hoiatustsoon: 60% lävendist
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Oranži tsooni väärtus on sama palju operatiivne kui hariv: see näitab sulle, mis piirneb sinu lävenditega. Kui üks kategooria genereerib palju hoiatusi, ületamata kunagi piiri, tead, et mõne sajandiku suurune kohandus nihutaks olulise osa liiklusest.

Lahendatud näide: analüüsi ja otsusta

Kogu protsess taandub ühele funktsioonile: kutsu klassifikaator, rakenda profiil, tee otsus. Allpool olev võrdlus on demonstratsiooniks – paratsetamooli annustamine blokeeritakse ranges profiilis kategooria health all ja aktsepteeritakse lubavas profiilis, ilma et teksti ainuski rida muutuks.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderatsioonib teksti ja teeb otsuse põhinevalt profiilil."""
    # Kutse moderatsiooni API-le
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Rakenda profiili lävendid
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Testi erinevate profiilidega
text = "Take 2 paracetamol tablets every 6 hours"

# Range profiil: tõenäoliselt blokeeritud (health)
result_strict = moderate_and_decide(text, "strict")

# Lubav profiil: tõenäoliselt aktsepteeritud
result_permissive = moderate_and_decide(text, "permissive")

Lävendite dünaamiline kohandamine

Tootmises peavad sinu lävendid arenema ja sa suunad seda arengut andmetega. Allpool olev monitor kirjutab iga otsuse JSONL-faili ja hoiab arvestust blokeeringute, hoiatuste ja läbimiste kohta kategooria haaval. Saadud aruanne annab sulle blokeerimismäära kategooria kohta – see on ainus meetrika, mis ütleb, kas lävend on liiga madal.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Kogub moderatsiooni meetrikaid lävendite kohandamiseks."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Logib moderatsiooniotsuse."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Uuenda loendureid
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Genereerib aruande lävendite kohandamiseks."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Lõksud, mida vältida

Esimene lõks on ühe lävendi rakendamine kõigile kategooriatele. Igal kategoorial on oma skooride jaotus: lävend 0,3 kategooriale hate_and_discrimination ei tähenda sama mis 0,3 kategooriale health, kus legitiimne sisu asub loomupäraselt skaalal kõrgemal. Kohanda iga kategooriat individuaalselt, isegi kui see tähendab üheteistkümne otsuse tegemist ühe asemel.

Teine on valepositiivsete tulemuste ignoreerimine. Kõrge blokeerimismäär õõnestab kasutajate usaldust palju kiiremini kui üksikjuhtum, sest see mõjutab heas usus tegutsevaid inimesi. Jälgi blokeerimismäära kategooria haaval ja tõsta lävendeid, kui andmed seda õigustavad.

Kolmas, salakavalam lõks on otsuste logimata jätmine. Ilma logideta ei saa sa oma lävendeid teadlikult kohandada ja pöördud tagasi arvamustel põhinevate arutelude juurde. Salvesta süstemaatiliselt skoorid, rakendatud lävendid ja tehtud otsused – see korpuse on see, mis teeb järgmise revisjoni kiireks ja vaidlustamatuks.

Peamised punktid

  • Skoorid jäävad vahemikku 0,0 kuni 1,0; need ei ole kalibreeritud tõenäosused ja Mistral soovitab määrata oma lävendid
  • Defineeri lävendiprofiilid, mis on kohandatud sinu kontekstiga (range, tasakaalustatud, lubav)
  • Rakenda 3-tasemeline süsteem: ohutu, hoiatus, blokeeritud
  • Logi kõik otsused, et oma lävendeid pidevalt kohandada
  • Iga kategooria nõuab oma lävendit – üksainus väärtus ei sobi kõigile