Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Skóre moderace a prahové hodnoty

Lekce 7 z 12 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Interpretace skóre moderace
  2. Definice tvých prahů: Rozhodovací matice
  3. Systém víceúrovňové klasifikace
  4. Praktický příklad: Analýza a rozhodnutí
  5. Dynamické upravování prahů
  6. Pastem, kterým se vyhnout
  7. Klíčové poznatky

Aktualizováno 3. listopadu 2026. Profily prahových hodnot dříve odkazovaly na neexistující kategorie (hate, violence, unpredictable); nyní jsou v souladu s jedenácti klíči z modelu mistral-moderation-2603, včetně kategorie dangerous. Průvodce interpretací skóre slouží jako referenční materiál pro školení, protože společnost Mistral žádný oficiální nezveřejňuje. Monitor dříve vyvolával chybu KeyError u jakékoli kategorie chybějící v profilu a používal funkci datetime.utcnow(), která je od Pythonu 3.12 zastaralá. Zdroje: Moderation & Guardrailing · datetime.utcnow.

Interpretace skóre moderace

Každá kategorie vrací skóre mezi 0,0 a 1,0. Co však tato čísla ve skutečnosti znamenají? A jak nastavíš rozhodovací prahy pro svou aplikaci? Tato lekce ti dá klíče k tomu, jak proměnit syrová skóre na automatizovaná rozhodnutí – přejdeš tak od měření k politice.

Nejprve pochop, že Mistral neprezentuje tato skóre jako kalibrované pravděpodobnosti. Skóre 0,6 neznamená „šestiprocentní šanci, že je text nebezpečný“; je to silný signál od klasifikátoru. Dokumentace zdůrazňuje dva užitečné body. Booleovské hodnoty categories v odpovědi aplikují prahy, které Mistral zvolil pro optimální výkon na svém interním testovacím souboru; můžeš je použít, nebo začít od syrových skóre a nastavit si vlastní. Na tomto testovacím souboru se přesnost kategorií pohybuje od 0,8 do 1,0 a úplnost (recall) od 0,7 do 1,0: dochází jak k falešně pozitivním výsledkům, tak k přehlédnutí obsahu, což je důvod, proč ručně laděné prahy záleží.

Následující mřížka není publikována společností Mistral: slouží jako výchozí reference pro ověření proti tvým vlastním metrikám.

RozsahInterpretace
0,0 – 0,1Zjevně bezpečný obsah, žádný detekovaný signál
0,1 – 0,3Slabý signál, možná neškodný, ale nejednoznačný
0,3 – 0,5Střední signál, potenciálně problematický obsah
0,5 – 0,7Silný signál, velmi pravděpodobně problematický obsah
0,7 – 1,0Velmi silný signál, zjevně nebezpečný obsah

Definice tvých prahů: Rozhodovací matice

Volba prahu je kompromisem mezi bezpečností (blokování co největšího množství obsahu) a použitelností (minimalizace falešně pozitivních výsledků). Žádné nastavení nevyhraje na obou frontách současně a tvrzení opaku vede k nekonečným hádkám. Funkční metodou je definovat tři explicitní profily a každou aplikaci k jednomu z nich přiřadit.

Přísný profil cílí na spotřebitelskou aplikaci, kde mohou být přítomny nezletilé osoby; vyvážený profil sedí na B2B profesionální aplikaci s identifikovanými uživateli; permisivní profil je vyhrazen pro interní nástroj obsluhovaný experty, kteří vědí, co požadují.

# Three threshold profiles
PROFILES = {
    "strict": {
        # Consumer application, children possible
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B professional application
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Internal tool for experts
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Porovnej sloupec health napříč profily: 0,2, poté 0,4 a nakonec 0,7. Stejná konverzace o dávkování bude v prvním případě zablokována a v posledním přijata. O výsledku rozhoduje kontext použití, nikoliv povaha textu.

Systém víceúrovňové klasifikace

Blokování nebo přijímání je zjednodušený pohled na realitu. Mezi zjevně bezpečným obsahem a zjevně porušujícím obsahem leží šedá zóna, kde je správným rozhodnutím obsah zobrazit, ale označit jej. Následující funkce zavádí tento třetí stav: nad prahem blokuj; nad 60 % prahu upozorni a zaznamenej; pod touto hranicí nech projít.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Green: safe content
    WARNING = "warning"    # Orange: content to monitor
    BLOCKED = "blocked"    # Red: blocked content

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Classifies content into 3 risk levels."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Warning zone: 60% of threshold
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Hodnota oranžové zóny je stejně tak operativní, jako vzdělávací: ukazuje ti, co se pohybuje těsně u tvých prahů. Pokud nějaká kategorie generuje mnoho upozornění, aniž by kdy překročila hranici, víš, že úprava o několik setin by posunula významný objem provozu.

Praktický příklad: Analýza a rozhodnutí

Celá sestava se redukuje na jednu funkci: zavolej klasifikátor, aplikuj profil, učin rozhodnutí. Následující porovnání slouží jako demonstrace – dávkování paracetamolu je v přísném profilu pod kategorií health zablokováno a v permisivním profilu přijato, aniž by se změnil jediný řádek textu.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderates text and makes a decision based on the profile."""
    # Call to moderation API
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Apply profile thresholds
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Test with different profiles
text = "Take 2 paracetamol tablets every 6 hours"

# Strict profile: likely blocked (health)
result_strict = moderate_and_decide(text, "strict")

# Permissive profile: likely accepted
result_permissive = moderate_and_decide(text, "permissive")

Dynamické upravování prahů

V produkčním prostředí se tvé prahy musí vyvíjet a ty tento vývoj řídíš pomocí dat. Následující monitor zapisuje každé rozhodnutí do souboru JSONL a udržuje čítače pro blokování, upozornění a průchody, kategorie po kategorii. Výsledná zpráva ti poskytne míru blokování na kategorii – jedinou metriku, která ti řekne, zda je práh příliš nízký.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Collects moderation metrics to adjust thresholds."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Logs a moderation decision."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Update counters
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generates a report to adjust thresholds."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Pastem, kterým se vyhnout

První pastí je jediný práh aplikovaný na všechny kategorie. Každá kategorie má své vlastní rozložení skóre: práh 0,3 pro hate_and_discrimination neznamená totéž co 0,3 pro health, kde se legitimní obsah přirozeně pohybuje výše na stupnici. Uprav každou kategorii individuálně, i když to znamená učinit jedenáct rozhodnutí místo jednoho.

Druhou pastí je ignorování falešně pozitivních výsledků. Vysoká míra blokování narušuje důvěru uživatelů mnohem rychleji než izolovaný incident, protože postihuje lidi jednající v dobré víře. Sleduj míru blokování podle kategorie a zvyšuj prahy, když to data odůvodňují.

Třetí, zákeřnější pastí je nezaznamenávání rozhodnutí. Bez logů nemůžeš informovaně upravovat své prahy a vracíš se k diskusím založeným na názorech. Systematicky zaznamenávej skóre, aplikované prahy a učiněná rozhodnutí – tento korpus je tím, co učiní další revizi rychlou a nepopiratelnou.

Klíčové poznatky

  • Skóre se pohybují od 0,0 do 1,0; nejsou to kalibrované pravděpodobnosti a Mistral doporučuje nastavit si vlastní prahy
  • Definuj profily prahových hodnot přizpůsobené tvému kontextu (přísný, vyvážený, permisivní)
  • Implementuj tříúrovňový systém: bezpečný, upozornění, zablokovaný
  • Zaznamenávej všechna rozhodnutí pro průběžné upravování tvých prahů
  • Každá kategorie vyžaduje svůj vlastní práh – žádná jediná hodnota nevyhovuje všem