Przejdź do głównej treści
Polski— Wybierz język
Menu

Wyniki moderacji i progi

Lekcja 7 z 12 Zaktualizowano 3 listopada 2026 Programista
Na tej stronie
  1. Interpretacja wyników moderacji
  2. Definiowanie progów: Macierz decyzyjna
  3. Wielopoziomowy system klasyfikacji
  4. Przykład praktyczny: Analiza i decyzja
  5. Dynamiczne dostosowywanie progów
  6. Pułapki, których należy unikać
  7. Kluczowe wnioski

Zaktualizowano 3 listopada 2026. Profile progowe wcześniej odwoływały się do nieistniejących kategorii (hate, violence, unpredictable); obecnie są zgodne z jedenastoma kluczami z modelu mistral-moderation-2603, w tym z dangerous. Przewodnik interpretacji wyników stanowi materiał szkoleniowy, ponieważ Mistral nie publikuje oficjalnego dokumentu w tej sprawie. Monitor wcześniej zgłaszał błąd KeyError dla każdej kategorii brakującej w profilu i używał funkcji datetime.utcnow(), która jest przestarzała od wersji Python 3.12. Źródła: Moderation & Guardrailing · datetime.utcnow.

Interpretacja wyników moderacji

Każda kategoria zwraca wynik w zakresie od 0,0 do 1,0. Ale co tak naprawdę oznaczają te liczby? I jak ustawić progi decyzyjne dla swojej aplikacji? Ta lekcja da Ci klucze do przekuwania surowych wyników w zautomatyzowane decyzje – przechodząc od pomiaru do polityki.

Przede wszystkim zrozum, że Mistral nie przedstawia tych wyników jako skalibrowanych prawdopodobieństw. Wynik 0,6 nie oznacza „sześciokrotnego na dziesięć szans, że ten tekst jest niebezpieczny“; jest to silny sygnał od klasyfikatora. Dokumentacja podkreśla dwie istotne kwestie. Wartości logiczne categories w odpowiedzi stosują progi wybrane przez Mistral dla optymalnej wydajności na jego wewnętrznym zestawie testowym; możesz z nich skorzystać lub wyjść od surowych wyników i ustawić własne. Na tym zestawie testowym precyzja kategorii waha się od 0,8 do 1,0, a pełność (recall) od 0,7 do 1,0: występują zarówno fałszywe pozytywy, jak i przeoczone treści, dlatego ręcznie dostrojone progi mają kluczowe znaczenie.

Poniższa siatka nie jest publikowana przez Mistral: stanowi punkt wyjścia do walidacji na podstawie własnych metryk.

ZakresInterpretacja
0,0 – 0,1Treść wyraźnie bezpieczna, brak wykrytego sygnału
0,1 – 0,3Słaby sygnał, możliwie nieszkodliwy, ale niejednoznaczny
0,3 – 0,5Umiarkowany sygnał, treść potencjalnie problematyczna
0,5 – 0,7Silny sygnał, bardzo prawdopodobna treść problematyczna
0,7 – 1,0Bardzo silny sygnał, ewidentnie niebezpieczna treść

Definiowanie progów: Macierz decyzyjna

Wybór progu to kompromis między bezpieczeństwem (blokowanie jak największej liczby treści) a użytecznością (minimalizacja fałszywych pozytywów). Żadne ustawienie nie wygrywa na obu frontach jednocześnie, a twierdzenie odwrotne prowadzi do niekończących się sporów. Metodą pracy jest zdefiniowanie trzech wyraźnych profili i przypisanie każdej aplikacji do jednego z nich.

Profil ścisły jest przeznaczony dla aplikacji konsumenckiej, z której mogą korzystać nieletni; profil zrównoważony pasuje do profesjonalnej aplikacji B2B ze zidentyfikowanymi użytkownikami; profil liberalny jest zarezerwowany dla narzędzia wewnętrznego obsługiwanego przez ekspertów, którzy wiedzą, o co pytają.

# Trzy profile progowe
PROFILES = {
    "strict": {
        # Aplikacja konsumencka, możliwa obecność dzieci
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # Profesjonalna aplikacja B2B
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Narzędzie wewnętrzne dla ekspertów
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Porównaj kolumnę health w różnych profilach: 0,2, następnie 0,4, a potem 0,7. Ta sama wymiana zdań dotycząca dawkowania zostanie zablokowana w pierwszym przypadku i zaakceptowana w ostatnim. O decyzji decyduje kontekst użycia, a nie sama natura tekstu.

Wielopoziomowy system klasyfikacji

Blokowanie lub akceptowanie to zbyt uproszczony obraz rzeczywistości. Pomiędzy treścią ewidentnie bezpieczną a ewidentnie naruszającą zasady istnieje szara strefa, w której właściwą decyzją jest wyświetlenie treści z jednoczesnym jej oflagowaniem. Poniższa funkcja wprowadza ten trzeci stan: powyżej progu – zablokuj; powyżej 60% progu – ostrzeż i zaloguj; poniżej tej wartości – przepuść.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Zielony: treść bezpieczna
    WARNING = "warning"    # Pomarańczowy: treść do monitorowania
    BLOCKED = "blocked"    # Czerwony: treść zablokowana

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Klasyfikuje treść na 3 poziomy ryzyka."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Strefa ostrzeżenia: 60% progu
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Wartość strefy pomarańczowej jest równie operacyjna, co edukacyjna: pokazuje Ci, co ociera się o Twoje progi. Jeśli dana kategoria generuje wiele ostrzeżeń, nigdy nie przekraczając linii, wiesz, że dostosowanie o kilka setnych przesunie znaczną część ruchu.

Przykład praktyczny: Analiza i decyzja

Całość sprowadza się do jednej funkcji: wywołaj klasyfikator, zastosuj profil, podejmij decyzję. Poniższe porównanie służy jako demonstracja – dawkowanie paracetamolu zostanie zablokowane w profilu ścisłym pod kategorią health i zaakceptowane w profilu liberalnym, bez zmiany ani jednej linijki tekstu.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderuje tekst i podejmuje decyzję na podstawie profilu."""
    # Wywołanie API moderacji
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Zastosowanie progów profilu
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Test z różnymi profilami
text = "Take 2 paracetamol tablets every 6 hours"

# Profil ścisły: prawdopodobnie zablokowane (health)
result_strict = moderate_and_decide(text, "strict")

# Profil liberalny: prawdopodobnie zaakceptowane
result_permissive = moderate_and_decide(text, "permissive")

Dynamiczne dostosowywanie progów

W środowisku produkcyjnym Twoje progi muszą ewoluować, a kierujesz tą ewolucją dzięki danym. Poniższy monitor zapisuje każdą decyzję do pliku JSONL i utrzymuje liczniki blokad, ostrzeżeń i przepuszczeń dla każdej kategorii. Wynikowy raport podaje wskaźnik blokad dla każdej kategorii – jest to jedyna metryka, która mówi Ci, czy próg jest zbyt niski.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Zbiera metryki moderacji w celu dostosowania progów."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Loguje decyzję moderacyjną."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Aktualizacja liczników
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generuje raport w celu dostosowania progów."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Pułapki, których należy unikać

Pierwszą pułapką jest stosowanie jednego progu dla wszystkich kategorii. Każda kategoria ma własny rozkład wyników: próg 0,3 dla hate_and_discrimination nie oznacza tego samego co 0,3 dla health, gdzie legitne treści naturalnie osiągają wyższe wartości na skali. Dostosuj każdą kategorię indywidualnie, nawet jeśli oznacza to podjęcie jedenastu decyzji zamiast jednej.

Drugą jest ignorowanie fałszywych pozytywów. Wysoki wskaźnik blokad szybciej niszczy zaufanie użytkowników niż pojedynczy incydent, ponieważ dotyczy osób działających w dobrej wierze. Śledź wskaźnik blokad według kategorii i podnoś progi, gdy dane to uzasadniają.

Trzecia, bardziej podstępna, to brak logowania decyzji. Bez logów nie możesz w sposób świadomy dostosowywać swoich progów i wracasz do dyskusji opartych na opiniach. Systematycznie rejestruj wyniki, zastosowane progi i podjęte decyzje – to ten zbiór danych sprawi, że kolejna rewizja będzie szybka i niepodważalna.

Kluczowe wnioski

  • Wyniki mieszczą się w zakresie od 0,0 do 1,0; nie są to skalibrowane prawdopodobieństwa, a Mistral zachęca do ustawiania własnych progów
  • Zdefiniuj profile progowe dostosowane do swojego kontekstu (ścisły, zrównoważony, liberalny)
  • Wdróż system 3-poziomowy: bezpieczny, ostrzeżenie, zablokowany
  • Loguj wszystkie decyzje, aby ciągle dostosowywać swoje progi
  • Każda kategoria wymaga własnego progu – nie istnieje jedna uniwersalna wartość dla wszystkich