Przejdź do głównej treści
Polski— Wybierz język
Menu

11 kategorii moderacji

Lekcja 6 z 12 Zaktualizowano 3 listopada 2026 Programista
Na tej stronie
  1. Zrozumienie kategorii ryzyka
  2. Kategorie „twarde“ kontra „miękkie“
  3. Analiza wyników w Pythonie
  4. Wiele kategorii: jeden tekst może wywołać kilka alertów
  5. Kluczowe wnioski

Zaktualizowano 3 listopada 2026 r. Tabela kategorii zawierała wcześniej trzy nieistniejące klucze (hate, violence, unpredictable) i pomijała dangerous. Jedenaście poniższych kluczy odzwierciedla model mistral-moderation-2603, bazując na dokumentacji i typach z SDK mistralai w wersji 3.7.0; opisy są zgodne z definicjami Mistral. Prezentowane wcześniej wartości wyjściowe jako dane pomiarowe były przykładami ilustracyjnymi i zostały teraz wyraźnie jako takie oznaczone. Źródła: Moderation & Guardrailing · Mistral Moderation 2411 (przestarzały model).

Zrozumienie kategorii ryzyka

Model Mistral Moderation analizuje treści w ramach 11 odrębnych kategorii. Każda kategoria obejmuje konkretny typ ryzyka i zwraca niezależny wynik w zakresie od 0,0 do 1,0. Zrozumienie tego, co dokładnie wykrywa każda kategoria, jest kluczowe dla ustalenia sensownych progów. Bez tej jasności jedynie zgadujesz liczby i zastanawiasz się, dlaczego treści są niespodziewanie blokowane.

Poniższa tabela zawiera dokładny klucz API dla każdej kategorii, to, co obejmuje, oraz rodzaje przypadków, które wykrywa w praktyce.

KategoriaKlucz APICo obejmuje Mistral
Treści seksualnesexualWyraźnie opisane lub promowane aktywności seksualne, nagość lub usługi seksualne; treści edukacyjne lub medyczne o charakterze nieeksplicytnym są zazwyczaj wyłączone
Mowa nienawiści i dyskryminacjahate_and_discriminationUprzedzenia, wrogość lub nawoływanie do dyskryminacji ze względu na cechy chronione, w tym nękanie
Przemoc i groźbyviolence_and_threatsOpisywane, gloryfikowane, podżegające do przemocy fizycznej lub grożące nią, a także instrukcje jej popełnienia
Niebezpieczne treścidangerousSkrajnie niebezpieczne zachowania obarczone wysokim ryzykiem fizycznej szkody
Działalność przestępczacriminalOpisywane lub promowane działania nielegalne
SamookaleczeniaselfharmSamookaleczenia, samobójstwa, zaburzenia odżywiania: metody, gloryfikacja, zamiar, niebezpieczne wyzwania
ZdrowiehealthProśby o udzielanie lub udzielanie szczegółowych bądź spersonalizowanych porad medycznych
FinansefinancialProśby o udzielanie lub udzielanie szczegółowych bądź spersonalizowanych porad finansowych
PrawolawProśby o udzielanie lub udzielanie szczegółowych bądź spersonalizowanych porad prawnych
Dane osobowepiiProśby, udostępnianie lub próby uzyskania danych identyfikujących: pełne imię i nazwisko, adres, numer telefonu, numer ubezpieczenia społecznego, dane bankowe
JailbreakjailbreakingPróby obejścia zasad modelu poprzez manipulację promptem, odgrywanie ról lub inne techniki

Kategorie dangerous, criminal oraz jailbreaking pojawiły się wraz z modelem mistral-moderation-2603. Poprzedni model, mistral-moderation-2411, wycofany 31 marca 2026 r., łączył pierwsze dwie pod jednym kluczem dangerous_and_criminal_content i nie wykrywał jailbreaków. Niektóre przykłady odpowiedzi w dokumentacji nadal pokazują ten starszy podział: zawsze czytaj klucze zwracane przez API, zamiast zakładać ich postać.

Kategorie „twarde“ kontra „miękkie“

W praktyce te 11 kategorii dzieli się na dwie grupy w zależności od krytyczności, a to rozróżnienie napędza całą Twoją strategię progową.

Kategorie twarde — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal oraz selfharm — reprezentują poważne ryzyka, w których fałszywie negatywny wynik (nie wykrycie niebezpiecznej treści) może mieć dotkliwe konsekwencje. Treści seksualne niosą ryzyko prawne i obowiązki ochrony małoletnich; mowa nienawiści naraża Cię na poważne szkody wizerunkowe i odpowiedzialność prawną; przemoc obejmuje podżeganie i groźby; kategorie niebezpieczne i przestępcze dotyczą zachowań wysokiego ryzyka oraz działań nielegalnych; samookaleczenia wiążą się z bezpieczeństwem użytkownika i sytuacjami zagrażającymi życiu. Dla tych sześciu kategorii niskie progi wynoszące 0,1–0,2 są uzasadnione niezależnie od Twojego produktu i świadomie akceptujesz pewną liczbę fałszywych pozytywów.

Kategorie miękkie zależą w dużym stopniu od kontekstu Twojej aplikacji, z możliwością dostosowania progów w zakresie od 0,3 do 0,8. Legalny chatbot medyczny musi omawiać kwestie z zakresu health, aplikacja fintech wymaga rozmów objętych kategorią financial, asystent prawny z konieczności zajmuje się law, a niektóre aplikacje legalnie zbierają dane mieszczące się w pii. Jeden przypadek wygląda inaczej: jailbreaking nie zależy od tematu, lecz od zamiaru manipulacji modelem i pozostaje krytyczny dla każdej aplikacji dostępnej publicznie.

Analiza wyników w Pythonie

Poniższa funkcja przekształca surowe wywołanie API w czytelny werdykt: izoluje kategorie przekraczające 0,3, identyfikuje maksymalny wynik i jego kategorię oraz zwraca wskaźnik safe, którego możesz użyć bezpośrednio w logice swojej aplikacji.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analizuje tekst i zwraca kategorie ryzyka."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Wyodrębnienie kategorii ryzyka
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores jest opcjonalne w SDK, stąd konstrukcja or {}. Uruchom oba przykłady na swoim koncie: powitanie powinno utrzymać się na bardzo niskim poziomie we wszystkich kategoriach, podczas gdy pytanie o dawkowanie powinno wykazać skok w kategorii health. Nie są to treści „niebezpieczne“ w potocznym rozumieniu – to treści, co do których musisz zdecydować, czy mieszczą się w Twoim zakresie działania.

Wiele kategorii: jeden tekst może wywołać kilka alertów

Jeden tekst może jednocześnie uzyskać wysokie wyniki w wielu kategoriach – prośba o pomoc w oszustwie podatkowym uderzy w criminal, financial i law jednocześnie. Twoja logika decyzyjna musi uwzględniać tę wielość, a przede wszystkim priorytetyzować: poniższa funkcja sortuje naruszenia według wielkości przekroczenia progu, informując Cię, która kategoria faktycznie zadecydowała o blokadzie.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Ocena ryzyka globalnego z uwzględnieniem wszystkich kategorii."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Konfiguracja według profilu
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profil strict_thresholds dokładnie odwzorowuje powyższą logikę twardych i miękkich kategorii: progi 0,1–0,15 dla sześciu kategorii krytycznych i jailbreaku, tolerancja na poziomie 0,3 dla domen kontekstowych. Potraktuj tę strukturę jako punkt wyjścia i dokumentuj wszelkie wprowadzane odstępstwa.

Kluczowe wnioski

  • mistral-moderation-2603 analizuje treści w ramach 11 kategorii o stałych kluczach; hate, violence czy unpredictable nie istnieją
  • Każda kategoria zwraca wynik w zakresie od 0,0 do 1,0
  • Kategorie „twarde“ (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) wymagają niskich progów
  • Kategorie „miękkie“ (health, financial, law) dostosowuje się w zależności od kontekstu aplikacji
  • Jeden tekst może jednocześnie uruchomić wiele kategorii
  • Używaj surowych wyników (category_scores), a nie domyślnych wartości boolowskich