11 kategorii moderacji
Na tej stronie
Zaktualizowano 3 listopada 2026 r. Tabela kategorii zawierała wcześniej trzy nieistniejące klucze (
hate,violence,unpredictable) i pomijaładangerous. Jedenaście poniższych kluczy odzwierciedla modelmistral-moderation-2603, bazując na dokumentacji i typach z SDKmistralaiw wersji 3.7.0; opisy są zgodne z definicjami Mistral. Prezentowane wcześniej wartości wyjściowe jako dane pomiarowe były przykładami ilustracyjnymi i zostały teraz wyraźnie jako takie oznaczone. Źródła: Moderation & Guardrailing · Mistral Moderation 2411 (przestarzały model).
Zrozumienie kategorii ryzyka
Model Mistral Moderation analizuje treści w ramach 11 odrębnych kategorii. Każda kategoria obejmuje konkretny typ ryzyka i zwraca niezależny wynik w zakresie od 0,0 do 1,0. Zrozumienie tego, co dokładnie wykrywa każda kategoria, jest kluczowe dla ustalenia sensownych progów. Bez tej jasności jedynie zgadujesz liczby i zastanawiasz się, dlaczego treści są niespodziewanie blokowane.
Poniższa tabela zawiera dokładny klucz API dla każdej kategorii, to, co obejmuje, oraz rodzaje przypadków, które wykrywa w praktyce.
| Kategoria | Klucz API | Co obejmuje Mistral |
|---|---|---|
| Treści seksualne | sexual | Wyraźnie opisane lub promowane aktywności seksualne, nagość lub usługi seksualne; treści edukacyjne lub medyczne o charakterze nieeksplicytnym są zazwyczaj wyłączone |
| Mowa nienawiści i dyskryminacja | hate_and_discrimination | Uprzedzenia, wrogość lub nawoływanie do dyskryminacji ze względu na cechy chronione, w tym nękanie |
| Przemoc i groźby | violence_and_threats | Opisywane, gloryfikowane, podżegające do przemocy fizycznej lub grożące nią, a także instrukcje jej popełnienia |
| Niebezpieczne treści | dangerous | Skrajnie niebezpieczne zachowania obarczone wysokim ryzykiem fizycznej szkody |
| Działalność przestępcza | criminal | Opisywane lub promowane działania nielegalne |
| Samookaleczenia | selfharm | Samookaleczenia, samobójstwa, zaburzenia odżywiania: metody, gloryfikacja, zamiar, niebezpieczne wyzwania |
| Zdrowie | health | Prośby o udzielanie lub udzielanie szczegółowych bądź spersonalizowanych porad medycznych |
| Finanse | financial | Prośby o udzielanie lub udzielanie szczegółowych bądź spersonalizowanych porad finansowych |
| Prawo | law | Prośby o udzielanie lub udzielanie szczegółowych bądź spersonalizowanych porad prawnych |
| Dane osobowe | pii | Prośby, udostępnianie lub próby uzyskania danych identyfikujących: pełne imię i nazwisko, adres, numer telefonu, numer ubezpieczenia społecznego, dane bankowe |
| Jailbreak | jailbreaking | Próby obejścia zasad modelu poprzez manipulację promptem, odgrywanie ról lub inne techniki |
Kategorie dangerous, criminal oraz jailbreaking pojawiły się wraz z modelem mistral-moderation-2603. Poprzedni model, mistral-moderation-2411, wycofany 31 marca 2026 r., łączył pierwsze dwie pod jednym kluczem dangerous_and_criminal_content i nie wykrywał jailbreaków. Niektóre przykłady odpowiedzi w dokumentacji nadal pokazują ten starszy podział: zawsze czytaj klucze zwracane przez API, zamiast zakładać ich postać.
Kategorie „twarde“ kontra „miękkie“
W praktyce te 11 kategorii dzieli się na dwie grupy w zależności od krytyczności, a to rozróżnienie napędza całą Twoją strategię progową.
Kategorie twarde — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal oraz selfharm — reprezentują poważne ryzyka, w których fałszywie negatywny wynik (nie wykrycie niebezpiecznej treści) może mieć dotkliwe konsekwencje. Treści seksualne niosą ryzyko prawne i obowiązki ochrony małoletnich; mowa nienawiści naraża Cię na poważne szkody wizerunkowe i odpowiedzialność prawną; przemoc obejmuje podżeganie i groźby; kategorie niebezpieczne i przestępcze dotyczą zachowań wysokiego ryzyka oraz działań nielegalnych; samookaleczenia wiążą się z bezpieczeństwem użytkownika i sytuacjami zagrażającymi życiu. Dla tych sześciu kategorii niskie progi wynoszące 0,1–0,2 są uzasadnione niezależnie od Twojego produktu i świadomie akceptujesz pewną liczbę fałszywych pozytywów.
Kategorie miękkie zależą w dużym stopniu od kontekstu Twojej aplikacji, z możliwością dostosowania progów w zakresie od 0,3 do 0,8. Legalny chatbot medyczny musi omawiać kwestie z zakresu health, aplikacja fintech wymaga rozmów objętych kategorią financial, asystent prawny z konieczności zajmuje się law, a niektóre aplikacje legalnie zbierają dane mieszczące się w pii. Jeden przypadek wygląda inaczej: jailbreaking nie zależy od tematu, lecz od zamiaru manipulacji modelem i pozostaje krytyczny dla każdej aplikacji dostępnej publicznie.
Analiza wyników w Pythonie
Poniższa funkcja przekształca surowe wywołanie API w czytelny werdykt: izoluje kategorie przekraczające 0,3, identyfikuje maksymalny wynik i jego kategorię oraz zwraca wskaźnik safe, którego możesz użyć bezpośrednio w logice swojej aplikacji.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analizuje tekst i zwraca kategorie ryzyka."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Wyodrębnienie kategorii ryzyka
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores jest opcjonalne w SDK, stąd konstrukcja or {}. Uruchom oba przykłady na swoim koncie: powitanie powinno utrzymać się na bardzo niskim poziomie we wszystkich kategoriach, podczas gdy pytanie o dawkowanie powinno wykazać skok w kategorii health. Nie są to treści „niebezpieczne“ w potocznym rozumieniu – to treści, co do których musisz zdecydować, czy mieszczą się w Twoim zakresie działania.
Wiele kategorii: jeden tekst może wywołać kilka alertów
Jeden tekst może jednocześnie uzyskać wysokie wyniki w wielu kategoriach – prośba o pomoc w oszustwie podatkowym uderzy w criminal, financial i law jednocześnie. Twoja logika decyzyjna musi uwzględniać tę wielość, a przede wszystkim priorytetyzować: poniższa funkcja sortuje naruszenia według wielkości przekroczenia progu, informując Cię, która kategoria faktycznie zadecydowała o blokadzie.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Ocena ryzyka globalnego z uwzględnieniem wszystkich kategorii."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Konfiguracja według profilu
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profil strict_thresholds dokładnie odwzorowuje powyższą logikę twardych i miękkich kategorii: progi 0,1–0,15 dla sześciu kategorii krytycznych i jailbreaku, tolerancja na poziomie 0,3 dla domen kontekstowych. Potraktuj tę strukturę jako punkt wyjścia i dokumentuj wszelkie wprowadzane odstępstwa.
Kluczowe wnioski
mistral-moderation-2603analizuje treści w ramach 11 kategorii o stałych kluczach;hate,violenceczyunpredictablenie istnieją- Każda kategoria zwraca wynik w zakresie od 0,0 do 1,0
- Kategorie „twarde“ (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) wymagają niskich progów - Kategorie „miękkie“ (health, financial, law) dostosowuje się w zależności od kontekstu aplikacji
- Jeden tekst może jednocześnie uruchomić wiele kategorii
- Używaj surowych wyników (
category_scores), a nie domyślnych wartości boolowskich