Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Rezultatai moderavimo ir slenksčiai

Paskaita 7 iš 12 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Kaip interpretuoti moderavimo rezultatus
  2. Slenksčių nustatymas: sprendimų matrica
  3. Daugialypė klasifikavimo sistema
  4. Pavyzdys: analizuok ir priimk sprendimą
  5. Dinamiškas slenksčių derinimas
  6. Klaidos, kurių reikia vengti
  7. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d. Anksčiau naudoti slenksčių profiliai nurodė neegzistuojančias kategorijas (hate, violence, unpredictable); dabar jie atitinka vienuolika raktų iš mistral-moderation-2603, įskaitant dangerous. Rezultatų interpretavimo gairės pateikiamos kaip mokymosi nuoroda, nes „Mistral“ jų neskelbia. Anksčiau stebėjimo sistema išmesdavo KeyError, jei profilyje trūkdavo kategorija, ir naudojo datetime.utcnow(), kuris paseno nuo Python 3.12 versijos. Šaltiniai: Moderavimas ir apsauga · datetime.utcnow.

Kaip interpretuoti moderavimo rezultatus

Kiekviena kategorija grąžina rezultatą nuo 0,0 iki 1,0. Bet ką šie skaičiai iš tikrųjų reiškia? Ir kaip nustatyti sprendimų slenksčius savo programai? Ši pamoka suteiks tau raktus paversti žalius rezultatus automatiniais sprendimais – pereiti nuo matavimo prie politikos.

Visų pirma, suprask, kad „Mistral“ nepateikia šių rezultatų kaip kalibruotų tikimybių. 0,6 rezultatas nereiškia „šešių iš dešimties tikimybės, kad šis tekstas pavojingas“; tai yra stiprus klasifikatoriaus signalas. Dokumentacijoje išskiriami du naudingi dalykai. Būlio tipo categories atsakyme taiko slenksčius, kuriuos „Mistral“ pasirinko optimaliam veikimui savo vidiniame testų rinkinyje; gali naudoti juos arba pradėti nuo žalių rezultatų ir nustatyti savo. Tame testų rinkinyje kategorijų tikslumas svyruoja nuo 0,8 iki 1,0, o aprėptis – nuo 0,7 iki 1,0: pasitaiko ir klaidingų teigiamų rezultatų, ir praleisto turinio, todėl rankiniu būdu derinami slenksčiai yra svarbūs.

Toliau pateikta lentelė nėra „Mistral“ paskelbta: tai pradinė nuoroda, kurią turi patikrinti pagal savo metrikas.

DiapazonasInterpretacija
0,0 – 0,1Akivaizdžiai saugus turinys, signalo nenustatyta
0,1 – 0,3Silpnas signalas, galbūt nekenksmingas, bet dviprasmiškas
0,3 – 0,5Vidutinis signalas, potencialiai problemiškas turinys
0,5 – 0,7Stiprus signalas, labai tikėtina, kad turinys problemiškas
0,7 – 1,0Labai stiprus signalas, akivaizdžiai pavojingas turinys

Slenksčių nustatymas: sprendimų matrica

Slenksčio pasirinkimas yra kompromisas tarp saugumo (blokuoti kuo daugiau) ir naudojamumo (sumažinti klaidingus teigiamus rezultatus). Joks nustatymas nelaimi abiejose frontuose, ir teigti priešingai reiškia begalinį ginčijimąsi. Darbo metodas – apibrėžti tris aiškius profilius ir kiekvienai programai priskirti vieną iš jų.

Griežtas profilis skirtas vartotojų programai, kurioje gali būti nepilnamečių; subalansuotas profilis tinka B2B profesionaliai programai su identifikuotais naudotojais; leidžiamas profilis skirtas vidiniam įrankiui, kurį valdo ekspertai, žinantys, ko jie prašo.

# Trys slenksčių profiliai
PROFILES = {
    "strict": {
        # Vartotojų programa, galimi vaikai
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B profesionali programa
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Vidinis įrankis ekspertams
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Palygink health stulpelį visuose profiliuose: 0,2, tada 0,4, tada 0,7. Tas pats pokalbis apie dozes pirmuoju atveju bus užblokuotas, o paskutiniame – priimtas. Sprendimą lemia naudojimo kontekstas, o ne teksto pobūdis.

Daugialypė klasifikavimo sistema

Blokavimas arba priėmimas yra pernelyg supaprastintas realybės vaizdas. Tarp akivaizdžiai saugaus turinio ir akivaizdžiai taisykles pažeidžiančio turinio yra pilkoji zona, kurioje teisingas sprendimas yra rodyti turinį, bet jį pažymėti. Toliau pateikta funkcija įveda šią trečiąją būseną: viršijus slenkstį – blokuoti; viršijus 60 % slenksčio – įspėti ir registruoti; žemiau to – leisti praeiti.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Žalia: saugus turinys
    WARNING = "warning"    # Oranžinė: turinys, kurį reikia stebėti
    BLOCKED = "blocked"    # Raudona: užblokuotas turinys

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Klasifikuoja turinį į 3 rizikos lygius."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Įspėjimo zona: 60 % slenksčio
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Oranžinės zonos vertė yra tiek operacinė, tiek edukacinė: ji parodo, kas ribojasi su tavo slenksčiais. Jei kategorija generuoja daug įspėjimų, bet niekada nepereina ribos, žinai, kad kelių šimtųjų dalių korekcija perleistų didelę srauto dalį.

Pavyzdys: analizuok ir priimk sprendimą

Visas procesas susiveda į vieną funkciją: iškviesk klasifikatorių, pritaikyk profilį, priimk sprendimą. Toliau pateiktas palyginimas tarnauja kaip demonstracija – paracetamolio dozė bus užblokuota griežtame profilyje pagal health ir priimta leidžiamame profilyje, nepakeitus nei vienos teksto eilutės.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderuoja tekstą ir priima sprendimą pagal profilį."""
    # Kreipimasis į moderavimo API
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Taikomi profilio slenksčiai
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Testavimas su skirtingais profiliais
text = "Take 2 paracetamol tablets every 6 hours"

# Griežtas profilis: tikėtina, bus užblokuota (health)
result_strict = moderate_and_decide(text, "strict")

# Leidžiamas profilis: tikėtina, bus priimta
result_permissive = moderate_and_decide(text, "permissive")

Dinamiškas slenksčių derinimas

Gamtinėje aplinkoje tavo slenksčiai turi evoliucionuoti, ir tu valdai tą evoliuciją naudodamas duomenis. Toliau pateiktas stebėtojas kiekvieną sprendimą įrašo į JSONL failą ir palaiko blokavimų, įspėjimų ir praleidimų skaitiklius pagal kiekvieną kategoriją. Gauta ataskaita suteikia blokavimo rodiklį pagal kategoriją – tai vienintelė metrika, kuri parodo, ar slenkstis nėra per žemas.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Renka moderavimo metrikas slenksčiams derinti."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Registruoja moderavimo sprendimą."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Atnaujinami skaitikliai
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generuoja ataskaitą slenksčiams derinti."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Klaidos, kurių reikia vengti

Pirmoji klaida – vieno slenksčio taikymas visoms kategorijoms. Kiekviena kategorija turi savo rezultatų pasiskirstymą: 0,3 slenkstis hate_and_discrimination kategorijai reiškia ką kita nei 0,3 health kategorijai, kurioje teisėtas turinys natūraliai yra aukščiau skalėje. Derink kiekvieną kategoriją individualiai, net jei tai reiškia vienuolikos sprendimų priėmimą vietoj vieno.

Antroji klaida – klaidingų teigiamų rezultatų ignoravimas. Didelis blokavimo rodiklis griovė naudotojų pasitikėjimą daug greičiau nei pavienis incidentas, nes tai paveikia žmones, veikiančius sąžiningai. Stebėk blokavimo rodiklį pagal kategoriją ir didink slenksčius, kai duomenys tai pateisina.

Trečioji, klastingesnė klaida – sprendimų neregistravimas. Be žurnalų negalėsi informuotai derinti savo slenksčių ir grįši prie diskusijų, pagrįstų nuomonėmis. Sistemingai registruok rezultatus, taikomus slenksčius ir priimtus sprendimus – būtent šis corpus leis greitai ir neabejotinai atlikti kitą peržiūrą.

Svarbiausi punktai

  • Rezultatai svyruoja nuo 0,0 iki 1,0; tai nėra kalibruotos tikimybės, ir „Mistral“ ragina nustatyti savo slenksčius
  • Apibrėžk slenksčių profilius, pritaikytus tavo kontekstui (griežtas, subalansuotas, leidžiamas)
  • Įdiek 3 lygių sistemą: saugu, įspėjimas, užblokuota
  • Registruok visus sprendimus, kad galėtum nuolat derinti savo slenksčius
  • Kiekviena kategorija reikalauja savo slenksčio – nėra vienos vertės, tinkančios viskam