Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Rezultati in pragovi moderacije

Lekcija 7 od 12 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Razlaga rezultatov moderacije
  2. Določanje pragov: Odločitvena matrika
  3. Večnivojski klasifikacijski sistem
  4. Primer iz prakse: Analiza in odločitev
  5. Dinamično prilagajanje pragov
  6. Pastem se izogni
  7. Ključne ugotovitve

Posodobljeno 3. novembra 2026. Profili pragov so se prej sklicevali na neobstoječe kategorije (hate, violence, unpredictable); zdaj so usklajeni z enajstimi ključi iz mistral-moderation-2603, vključno z dangerous. Vodnik za razlago rezultatov je na voljo kot referenčni material za usposabljanje, saj ga Mistral ne objavlja. Nadzornik je prej sprožil napako KeyError za vsako kategorijo, ki je manjkala v profilu, in uporabljal datetime.utcnow(), kar je zastarelo od Pythona 3.12 naprej. Viri: Moderation & Guardrailing · datetime.utcnow.

Razlaga rezultatov moderacije

Vsaka kategorija vrne rezultat med 0,0 in 1,0. Kaj pa ta števila dejansko pomenijo? In kako nastaviš odločitvene pragove za svojo aplikacijo? Ta lekcija ti daje ključe za pretvorbo surovih rezultatov v avtomatizirane odločitve – prehod od merjenja do politike.

Najprej razumi, da Mistral teh rezultatov ne predstavlja kot umerjene verjetnosti. Rezultat 0,6 ne pomeni „šestdesetodstotne možnosti, da je besedilo nevarno”; gre za močan signal klasifikatorja. Dokumentacija izpostavlja dve koristni točki. Booleova vrednost categories v odgovoru uporablja pragove, ki jih je izbral Mistral za optimalno delovanje na svojem internem testnem nizu; lahko jih uporabiš ali pa začneš s surovimi rezultati in nastaviš svoje. Na tem testnem nizu se natančnost (precision) kategorij giblje med 0,8 in 1,0, priklic (recall) pa med 0,7 in 1,0: lažno pozitivni rezultati in spregledana vsebina se pojavljajo, zato so ročno prilagojeni pragovi tako pomembni.

Spodnja mreža ni objavljena s strani Mistrala: gre za izhodiščno referenco, ki jo moraš potrditi s svojimi metrikami.

RazponRazlaga
0,0 – 0,1Jasno varna vsebina, zaznanega signala ni
0,1 – 0,3Šibek signal, morda neškodljiv, a dvoumen
0,3 – 0,5Zmeren signal, potencialno problematična vsebina
0,5 – 0,7Močan signal, zelo verjetno problematična vsebina
0,7 – 1,0Zelo močan signal, očitno nevarna vsebina

Določanje pragov: Odločitvena matrika

Izbira praga je kompromis med varnostjo (blokiranje čim večjega deleža) in uporabnostjo (zmanjševanje lažno pozitivnih rezultatov). Nobena nastavitev ne zmaga na obeh frontah hkrati in trditev nasprotnega vodi v neskončne razprave. Delovna metoda je opredelitev treh eksplicitnih profilov in preslikava vsake aplikacije na enega izmed njih.

Strogi profil cilja na potrošniško aplikacijo, kjer so lahko prisotni mladoletniki; uravnoteženi profil ustreza profesionalni B2B aplikaciji z identificiranimi uporabniki; dopustni profil pa je rezerviran za interno orodje, s katerim upravljajo strokovnjaki, ki vedo, kaj zahtevajo.

# Three threshold profiles
PROFILES = {
    "strict": {
        # Consumer application, children possible
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B professional application
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Internal tool for experts
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Primerjaj stolpec health med profili: 0,2, nato 0,4, nato 0,7. Isti pogovor o odmerjanju bo v prvem primeru blokiran, v zadnjem pa sprejet. Odloča kontekst uporabe, ne narava besedila.

Večnivojski klasifikacijski sistem

Blokiranje ali sprejemanje je preveč poenostavljen pogled na realnost. Med očitno varno vsebino in očitno kršitveno vsebino leži sivo območje, kjer je pravilna odločitev prikaz z označitvijo. Spodnja funkcija uvaja to tretje stanje: nad pragom blokiraj; nad 60 % praga opozori in zabeleži; pod tem pa prepusti naprej.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Green: safe content
    WARNING = "warning"    # Orange: content to monitor
    BLOCKED = "blocked"    # Red: blocked content

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Classifies content into 3 risk levels."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Warning zone: 60% of threshold
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Vrednost oranžne cone je enako operativna kot izobraževalna: pokaže ti, kaj se dotika tvojih pragov. Če kategorija ustvari veliko opozoril, ne da bi kdaj prečkala črto, veš, da bi prilagoditev za nekaj stotink premaknila znaten obseg prometa.

Primer iz prakse: Analiza in odločitev

Sestavljanje se zreducira na eno funkcijo: pokliči klasifikator, uporabi profil, sprejmi odločitev. Spodnja primerjava služi kot demonstracija – odmerek paracetamola je v strogem profilu pod health blokiran, v dopustnem profilu pa sprejet, brez da bi se spremenila ena sama vrstica besedila.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderates text and makes a decision based on the profile."""
    # Call to moderation API
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Apply profile thresholds
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Test with different profiles
text = "Take 2 paracetamol tablets every 6 hours"

# Strict profile: likely blocked (health)
result_strict = moderate_and_decide(text, "strict")

# Permissive profile: likely accepted
result_permissive = moderate_and_decide(text, "permissive")

Dinamično prilagajanje pragov

V produkcijskem okolju se morajo tvoji pragovi razvijati, to evolucijo pa usmerjaš s podatki. Spodnji nadzornik vsako odločitev zapiše v datoteko JSONL in vzdržuje števce za blokade, opozorila in prepuste, kategorija za kategorijo. Nastalo poročilo ti poda stopnjo blokad na kategorijo – edina metrika, ki ti pove, ali je prag prenizek.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Collects moderation metrics to adjust thresholds."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Logs a moderation decision."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Update counters
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generates a report to adjust thresholds."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Pastem se izogni

Prva past je en sam prag, uporabljen za vse kategorije. Vsaka kategorija ima svojo porazdelitev rezultatov: prag 0,3 za hate_and_discrimination ne pomeni istega kot 0,3 za health, kjer legitimna vsebina naravno živi višje na lestvici. Prilagodi vsako kategorijo posebej, tudi če to pomeni sprejetje enajstih odločitev namesto ene.

Druga past je ignoriranje lažno pozitivnih rezultatov. Visoka stopnja blokad hitreje erodira zaupanje uporabnikov kot izoliran incident, ker prizadene ljudi, ki delujejo v dobri veri. Spremljaj stopnjo blokad po kategorijah in dvigni pragove, ko podatki to upravičujejo.

Tretja, bolj zahrbtna past, je nebeleženje odločitev. Brez dnevnikov ne moreš informirano prilagajati pragov in se vrneš k razpravam, temelječim na mnenjih. Sistematično beleži rezultate, uporabljene pragove in sprejete odločitve – ta korpus je tisto, kar bo naslednjo revizijo naredilo hitro in nesporno.

Ključne ugotovitve

  • Rezultati segajo od 0,0 do 1,0; niso umerjene verjetnosti in Mistral spodbuja nastavljanje lastnih pragov
  • Opredeli profile pragov, prilagojene tvojemu kontekstu (strogi, uravnoteženi, dopustni)
  • Implementiraj tristopenjski sistem: varno, opozorilo, blokirano
  • Beleži vse odločitve za neprekinjeno prilagajanje pragov
  • Vsaka kategorija zahteva svoj prag – nobena enotna vrednost ne ustreza vsem