Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Skóre moderácie a prahové hodnoty

Lekcia 7 z 12 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Interpretácia skóre moderácie
  2. Definovanie prahov: Rozhodovacia matica
  3. Viacúrovňový klasifikačný systém
  4. Praktický príklad: Analýza a rozhodnutie
  5. Dynamické upravovanie prahov
  6. Pasce, ktorým sa vyhnúť
  7. Kľúčové poznatky

Aktualizované 3. novembra 2026. Profily prahových hodnôt predtým odkazovali na neexistujúce kategórie (hate, violence, unpredictable); teraz sú v súlade s jedenástimi kľúčmi z mistral-moderation-2603, vrátane dangerous. Sprievodca interpretáciou skóre slúži ako referenčný materiál pre školenie, keďže Mistral žiadny takýto oficiálny sprievodca nezverejňuje. Monitor predtým vyvolával chybu KeyError pri akejkoľvek kategórii chýbajúcej v profile a používal datetime.utcnow(), čo je od Pythonu 3.12 zastarané. Zdroje: Moderation & Guardrailing · datetime.utcnow.

Interpretácia skóre moderácie

Každá kategória vracia skóre medzi 0,0 a 1,0. Čo však tieto čísla vlastne znamenajú? A ako nastavíš rozhodovacie prahy pre svoju aplikáciu? Táto lekcia ti dá kľúče na premenu surových skóre na automatizované rozhodnutia – prechod od merania k politike.

Najprv pochop, že Mistral neprezentuje tieto skóre ako kalibrované pravdepodobnosti. Skóre 0,6 neznamená „šesťdesiatpercentnú šancu, že tento text je nebezpečný“; je to silný signál od klasifikátora. Dokumentácia zdôrazňuje dva dôležité body. Booleovské hodnoty categories v odpovedi aplikujú prahy, ktoré Mistral zvolil pre optimálny výkon na svojom internom testovacom súbore; môžeš ich použiť, alebo začať od surových skóre a nastaviť si vlastné. Na tomto testovacom súbore sa presnosť kategórií pohybuje od 0,8 do 1,0 a úplnosť (recall) od 0,7 do 1,0: vyskytujú sa falošné pozitíva aj vynechaný obsah, preto sú ručne ladené prahy také dôležité.

Mriežka nižšie nie je publikovaná spoločnosťou Mistral: slúži ako východiskový referenčný bod, ktorý si overíš proti vlastným metrikám.

RozsahInterpretácia
0,0 – 0,1Jasne bezpečný obsah, nezistený žiadny signál
0,1 – 0,3Slabý signál, možno neškodný, ale nejednoznačný
0,3 – 0,5Mierny signál, potenciálne problematický obsah
0,5 – 0,7Silný signál, veľmi pravdepodobne problematický obsah
0,7 – 1,0Veľmi silný signál, zjavne nebezpečný obsah

Definovanie prahov: Rozhodovacia matica

Výber prahu je kompromisom medzi bezpečnosťou (blokovanie čo najväčšieho množstva obsahu) a použiteľnosťou (minimalizácia falošných pozitív). Žiadne nastavenie nevyhrá na oboch frontoch súčasne a tvrdenie opaku vedie k nekonečným hádkam. Funkčnou metódou je definovať tri explicitné profily a priradiť každú aplikáciu k jednému z nich.

Prísny profil cieli na spotrebiteľskú aplikáciu, kde môžu byť prítomné maloleté osoby; vyvážený profil sedí na B2B profesionálnu aplikáciu s identifikovanými používateľmi; permisivný profil je vyhradený pre interný nástroj obsluhovaný expertmi, ktorí vedia, čo požadujú.

# Tri profily prahových hodnôt
PROFILES = {
    "strict": {
        # Spotrebiteľská aplikácia, možné prítomnosť detí
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B profesionálna aplikácia
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Interný nástroj pre expertov
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Porovnaj stĺpec health naprieč profilmi: 0,2, potom 0,4, potom 0,7. Tá istá konverzácia o dávkovaní bude v prvom prípade zablokovaná a v poslednom prijatá. O rozhodnutí rozhoduje kontext použitia, nie povaha textu.

Viacúrovňový klasifikačný systém

Blokovanie alebo prijímanie je zjednodušený pohľad na realitu. Medzi zjavne bezpečným obsahom a zjavne porušujúcim obsahom leží šedá zóna, kde je správnym rozhodnutím obsah zobraziť, ale označiť ho. Funkcia nižšie zavádza tento tretí stav: nad prahom blokuj; nad 60 % prahu varuj a loguj; pod touto hranicou nechaj prejsť.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Zelená: bezpečný obsah
    WARNING = "warning"    # Oranžová: obsah na monitorovanie
    BLOCKED = "blocked"    # Červená: blokovaný obsah

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Klasifikuje obsah do 3 úrovní rizika."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Zóna varovania: 60 % prahu
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Hodnota oranžovej zóny je rovnako operačná ako vzdelávacia: ukazuje ti, čo sa pohybuje tesne pri tvojich prahoch. Ak kategória generuje veľa varovaní, ale nikdy neprekročí hranicu, vieš, že úprava o niekoľko stotín by presunula významný objem premávky.

Praktický príklad: Analýza a rozhodnutie

Celý proces sa scvrkáva na jednu funkciu: zavolaj klasifikátor, aplikuj profil, urob rozhodnutie. Porovnanie nižšie slúži ako demonštrácia – dávkovanie paracetamolu je v prísnom profile pod health zablokované a v permisivnom profile prijaté, bez zmeneny jediného riadku textu.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderuje text a rozhodne na základe profilu."""
    # Volanie API pre moderáciu
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Aplikácia prahov profilu
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Test s rôznymi profilmi
text = "Take 2 paracetamol tablets every 6 hours"

# Prísny profil: pravdepodobne zablokované (health)
result_strict = moderate_and_decide(text, "strict")

# Permisívny profil: pravdepodobne prijaté
result_permissive = moderate_and_decide(text, "permissive")

Dynamické upravovanie prahov

V produkcii sa tvoje prahy musia vyvíjať a tento vývoj riadiš pomocou dát. Monitor nižšie zapisuje každé rozhodnutie do súboru JSONL a udržiava počítadlá pre blokovania, varovania a povolenia, kategóriu po kategórii. Výsledná správa ti poskytne mieru blokovania na kategóriu – jedinú metriku, ktorá ti povie, či je prah príliš nízky.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Zhromažďuje metriky moderácie na úpravu prahov."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Loguje rozhodnutie o moderácii."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Aktualizácia počítadiel
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generuje správu na úpravu prahov."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Pasce, ktorým sa vyhnúť

Prvou pascou je jediný prah aplikovaný na všetky kategórie. Každá kategória má svoje vlastné rozdelenie skóre: prah 0,3 pre hate_and_discrimination neznamená to isté čo 0,3 pre health, kde legitímny obsah prirodzene dosahuje vyššie hodnoty na stupnici. Uprav každú kategóriu individuálne, aj keď to znamená urobiť jedenásť rozhodnutí namiesto jedného.

Druhou je ignorovanie falošných pozitív. Vysoká miera blokovania eroduje dôveru používateľov oveľa rýchlejšie ako izolovaný incident, pretože postihuje ľudí konajúcich v dobrej viere. Sleduj mieru blokovania podľa kategórie a zvyšuj prahy, keď to dáta odôvodňujú.

Treťou, zákernjšou pascou, je nezaznamenávanie rozhodnutí. Bez logov nemôžeš informovane upravovať svoje prahy a vraciaš sa k diskusiám založeným na názoroch. Systematicky zaznamenávaj skóre, aplikované prahy a vykonané rozhodnutia – tento korpus je tým, čo urobí ďalšiu revíziu rýchlu a nespochybniteľnú.

Kľúčové poznatky

  • Skóre sa pohybujú od 0,0 do 1,0; nie sú to kalibrované pravdepodobnosti a Mistral odporúča nastaviť si vlastné prahy
  • Definuj profily prahov prispôsobené tvojmu kontextu (prísny, vyvážený, permisivný)
  • Implementuj 3-úrovňový systém: bezpečné, varovanie, blokované
  • Loguj všetky rozhodnutia na neustále upravovanie tvojich prahov
  • Každá kategória si vyžaduje vlastný prah – žiadna jediná hodnota nevyhovuje všetkým