Pāriet uz galveno saturu
Latviešu— Izvēlēties valodu
Izvēlne

Rezultāti un sliekšņi moderācijai

Nodarbība 7 no 12 Atjaunota 2026. gada 3. novembris Programmētājs
Šajā lapā
  1. Moderācijas rezultātu interpretēšana
  2. Sliekšņu definēšana: lēmumu matrica
  3. Daudzlīmeņu klasifikācijas sistēma
  4. Praktisks piemērs: analizē un lemj
  5. Sliekšņu dinamiska pielāgošana
  6. Kļūdas, no kurām izvairīties
  7. Galvenās atziņas

Atjaunināts 2026. gada 3. novembrī. Iepriekš sliekšņu profili atsaucās uz neeksistējošām kategorijām (hate, violence, unpredictable); tagad tie ir saskaņoti ar vienpadsmit atslēgām no mistral-moderation-2603, tostarp dangerous. Rezultātu interpretācijas rokasgrāmata ir sniegta kā apmācības atsauce, jo Mistral to nav publicējusi. Iepriekš uzraudzības sistēma izraisīja KeyError jebkurai profilā trūkstošai kategorijai un izmantoja datetime.utcnow(), kas ir novecojusi kopš Python 3.12. Avoti: Moderācija un aizsardzība · datetime.utcnow.

Moderācijas rezultātu interpretēšana

Katra kategorija atgriež rezultātu robežās no 0,0 līdz 1,0. Bet ko šie skaitļi patiesībā nozīmē? Un kā tu noteiksi lēmumu sliekšņus savai lietotnei? Šī nodarbība dos tev atslēgas, lai pārvērstu neapstrādātus rezultātus automatizētos lēmumos — pārejot no mērīšanas uz politiku.

Vispirms saproti, ka Mistral nepasniedz šos rezultātus kā kalibrētas varbūtības. Rezultāts 0,6 nenozīmē “sešas iespējas no desmit, ka šis teksts ir bīstams”; tas ir spēcīgs signāls no klasifikatora. Dokumentācijā izcelti divi noderīgi punkti. Būla vērtība categories atbildē piemēro sliekšņus, kurus Mistral izvēlējies optimālai veiktspējai savā iekšējā testa kopā; tu vari tos izmantot vai sākt no neapstrādātiem rezultātiem un noteikt savus. Šajā testa kopā kategoriju precizitāte svārstās no 0,8 līdz 1,0, bet pilnīgums — no 0,7 līdz 1,0: notiek gan kļūdaini pozitīvi rezultāti, gan saturu palaišana garām, tāpēc manuāli pielāgoti sliekšņi ir tik svarīgi.

Zemāk esošā tabula nav Mistral publicēta: tā ir sākuma atsauce, kas jāvalidē pret taviem paša rādītājiem.

DiapazonsInterpretācija
0,0 – 0,1Skaidri drošs saturs, nav konstatēts signāls
0,1 – 0,3Vājš signāls, iespējams nekaitīgs, bet neskaidrs
0,3 – 0,5Mērens signāls, potenciāli problemātisks saturs
0,5 – 0,7Spēcīgs signāls, ļoti iespējams problemātisks saturs
0,7 – 1,0Ļoti spēcīgs signāls, acīmredzami bīstams saturs

Sliekšņu definēšana: lēmumu matrica

Sliekšņa izvēle ir kompromiss starp drošību (bloķēt pēc iespējas vairāk) un lietojamību (samazināt kļūdaini pozitīvos rezultātus). Neviena iestatījuma gadījumā nevar uzvarēt abās frontēs, un apgalvojums pretējais novedīs pie bezgalīgām diskusijām. Darba metode ir definēt trīs skaidrus profilus un katru lietotni piesaistīt vienam no tiem.

Stingrais profils ir paredzēts patērētāju lietotnei, kur var būt nepilngadīgie; līdzsvarotais profils der B2B profesionālai lietotnei ar identificētiem lietotājiem; liberālais profils ir rezervēts iekšējam rīkam, ko apstrādā eksperti, kuri zina, ko prasa.

# Trīs sliekšņu profili
PROFILES = {
    "strict": {
        # Patērētāju lietotne, iespējami bērni
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B profesionāla lietotne
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Iekšējs rīks ekspertiem
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Salīdzini kolonnu health starp profiliem: 0,2, tad 0,4, tad 0,7. Tā pati saruna par devu pirmajā gadījumā tiks bloķēta, bet pēdējā — pieņemta. Lēmumu pieņem lietojuma konteksts, nevis teksta būtība.

Daudzlīmeņu klasifikācijas sistēma

Bloķēšana vai pieņemšana ir pārāk vienkāršots realitātes skatījums. Starp acīmredzami drošu saturu un acīmredzami pārkāpošu saturu pastāv pelēkā zona, kur pareizais lēmums ir parādīt saturu, bet to atzīmēt. Zemāk esošā funkcija ievieš šo trešo stāvokli: virs sliekšņa — bloķēt; virs 60 % no sliekšņa — brīdināt un reģistrēt; zem tā — laist cauri.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Zaļš: drošs saturs
    WARNING = "warning"    # Oranžs: saturs uzraudzībai
    BLOCKED = "blocked"    # Sarkans: bloķēts saturs

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Klasificē saturu 3 riska līmeņos."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Brīdinājuma zona: 60 % no sliekšņa
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Oranžās zonas vērtība ir tikpat daudz operacionāla, cik izglītojoša: tā parāda, kas tuvojas taviem sliekšņiem. Ja kāda kategorija ģenerē daudz brīdinājumu, nekad nepārsniedzot robežu, tu zini, ka pielāgojums par dažiem simtdaļām novirzītu ievērojamu datplūsmas apjomu.

Praktisks piemērs: analizē un lemj

Viss reducējas uz vienu funkciju: izsauc klasifikatoru, piemēro profilu, pieņem lēmumu. Zemāk esošais salīdzinājums kalpo kā demonstrācija — paracetamola deva tiks bloķēta stingrajā profilā kategorijā health un pieņemta liberālajā profilā, nemainot nevienu teksta rindiņu.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Veic teksta moderāciju un pieņem lēmumu, balstoties uz profilu."""
    # Izsauc moderācijas API
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Piemēro profila sliekšņus
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Testē ar dažādiem profiliem
text = "Take 2 paracetamol tablets every 6 hours"

# Stingrais profils: iespējams bloķēts (health)
result_strict = moderate_and_decide(text, "strict")

# Liberālais profils: iespējams pieņemts
result_permissive = moderate_and_decide(text, "permissive")

Sliekšņu dinamiska pielāgošana

Produkcijas vidē taviem sliekšņiem ir jāattīstās, un tu virzi šo attīstību ar datiem. Zemāk esošais uzraudzības rīks katru lēmumu ieraksta JSONL failā un uztur skaitītājus bloķējumiem, brīdinājumiem un caurlaidēm pa kategorijām. Iegūtais ziņojums sniedz bloķēšanas koeficientu katrai kategorijai — tas ir vienīgais rādītājs, kas norāda, vai slieksnis nav pārāk zems.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Vāc moderācijas metrikas sliekšņu pielāgošanai."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Reģistrē moderācijas lēmumu."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Atjaunina skaitītājus
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Ģenerē ziņojumu sliekšņu pielāgošanai."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Kļūdas, no kurām izvairīties

Pirmā kļūda ir viena sliekšņa piemērošana visām kategorijām. Katrai kategorijai ir savs rezultātu sadalījums: slieksnis 0,3 kategorijai hate_and_discrimination nozīmē ko citu nekā 0,3 kategorijai health, kur likumīgs saturs dabiski atrodas augstāk skalā. Pielāgo katru kategoriju individuāli, pat ja tas nozīmē pieņemt vienpadsmit lēmumus viena vietā.

Otrā ir kļūdaini pozitīvu rezultātu ignorēšana. Augsts bloķēšanas koeficients grauj lietotāju uzticību daudz ātrāk nekā atsevišķs incidents, jo tas ietekmē cilvēkus, kas rīkojas ar labu nodomu. Izseko bloķēšanas koeficientu pa kategorijām un paaugstini sliekšņus, kad dati to attaisno.

Trešā, viltīgākā, ir lēmumu nereģistrēšana. Bez žurnāliem tu nevari informēti pielāgot savus sliekšņus un atgriezies pie diskusijām, kas balstītas uz viedokļiem. Sistemātiski reģistrē rezultātus, piemērotos sliekšņus un pieņemtos lēmumus — šī kopums ir tas, kas padarīs nākamo pārskatīšanu ātru un neapstrīdamu.

Galvenās atziņas

  • Rezultāti svārstās no 0,0 līdz 1,0; tie nav kalibrētas varbūtības, un Mistral iesaka noteikt savus sliekšņus
  • Definē sliekšņu profilus, kas pielāgoti tavam kontekstam (stingrs, līdzsvarots, liberāls)
  • Ievies 3 līmeņu sistēmu: drošs, brīdinājums, bloķēts
  • Reģistrē visus lēmumus, lai nepārtraukti pielāgotu savus sliekšņus
  • Katrai kategorijai ir nepieciešams savs slieksnis — neviena vienota vērtība neder visam