11 kategorií moderování
Na této stránce
Aktualizováno 3. listopadu 2026. Tabulka kategorií dříve uváděla tři neexistující klíče (
hate,violence,unpredictable) a opomíjeladangerous. Jedenáct klíčů níže odpovídá modelumistral-moderation-2603na základě dokumentace a typů z SDKmistralaiverze 3.7.0; popisy vycházejí z definic společnosti Mistral. Výstupní hodnoty prezentované jako naměřená data byly ilustračními příklady a nyní jsou jako takové jasně označeny. Zdroje: Moderation & Guardrailing · Mistral Moderation 2411 (zastaralý model).
Porozumění kategoriím rizika
Model Mistral Moderation analyzuje obsah v rámci 11 odlišných kategorií. Každá kategorie pokrývá specifický typ rizika a vrací nezávislé skóre mezi 0,0 a 1,0. Přesné pochopení toho, co každá kategorie detekuje, je zásadní pro nastavení smysluplných prahových hodnot. Bez této jasnosti jen hádáte čísla a divíte se, proč je obsah neočekávaně blokován.
Následující tabulka uvádí přesný klíč API pro každou kategorii, co zahrnuje a jaké typy případů v praxi zachytává.
| Kategorie | Klíč API | Co Mistral zahrnuje |
|---|---|---|
| Sexuální obsah | sexual | Explicitně popisované nebo propagované sexuální aktivity, nahota nebo sexuální služby; neexplicitní vzdělávací nebo lékařský obsah je obecně vyňat |
| Nenávist a diskriminace | hate_and_discrimination | Předsudky, nepřátelství nebo výzvy k diskriminaci na základě chráněných charakteristik, včetně obtěžování |
| Násilí a vyhrožování | violence_and_threats | Popisované, oslavované, podněcované nebo hrozící fyzické násilí a pokyny k jeho páchání |
| Nebezpečný obsah | dangerous | Extrémně nebezpečné chování s vysokým rizikem fyzické újmy |
| Trestná činnost | criminal | Popisované nebo propagované nezákonné aktivity |
| Sebepoškozování | selfharm | Sebepoškozování, sebevražda, poruchy příjmu potravy: metody, oslavování, úmysl, nebezpečné výzvy |
| Zdraví | health | Žádosti o poskytnutí nebo poskytování podrobných či personalizovaných lékařských rad |
| Finance | financial | Žádosti o poskytnutí nebo poskytování podrobných či personalizovaných finančních rad |
| Právo | law | Žádosti o poskytnutí nebo poskytování podrobných či personalizovaných právních rad |
| Osobní údaje | pii | Žádosti, sdílení nebo pokusy o získání identifikujících údajů: celé jméno, adresa, telefonní číslo, rodné číslo, bankovní údaje |
| Jailbreak | jailbreaking | Pokusy obejít pravidla modelu prostřednictvím manipulace s promptem, hraní rolí nebo jinými technikami |
Kategorie dangerous, criminal a jailbreaking přišly s modelem mistral-moderation-2603. Předchozí model, mistral-moderation-2411, zastaralý k 31. březnu 2026, kombinoval první dvě pod jediným klíčem dangerous_and_criminal_content a nedetekoval jailbreaky. Některé příklady odpovědí v dokumentaci stále zobrazují toto starší rozdělení: vždy si přečtěte klíče, které API vrací, místo abyste je předpokládali.
„Tvrdé“ versus „měkké“ kategorie
V praxi těchto 11 kategorií spadá do dvou skupin na základě kritičnosti a toto rozlišení řídí celou vaši strategii prahových hodnot.
Tvrdé kategorie — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal a selfharm — představují vážná rizika, kde falešně negativní výsledek (selhání při detekci nebezpečného obsahu) může mít závažné následky. Sexuální obsah nese právní rizika a povinnost chránit nezletilé; nenávistné projevy vás vystavují velkému poškození pověsti a právní odpovědnosti; násilí zahrnuje podněcování a vyhrožování; kategorie nebezpečného obsahu a trestné činnosti pokrývají vysoce rizikové chování a nezákonné aktivity; sebepoškozování zahrnuje bezpečnost uživatelů a život ohrožující situace. Pro těchto šest kategorií jsou nízké prahové hodnoty 0,1 až 0,2 opodstatněné bez ohledu na váš produkt a vědomě přijímáte určitý počet falešně pozitivních výsledků.
Měkké kategorie silně závisí na kontextu vaší aplikace s nastavitelnými prahovými hodnotami mezi 0,3 a 0,8. Legitimní lékařský chatbot potřebuje diskutovat o health, fintech aplikace vyžaduje konverzace pokryté kategorií financial, právní asistent nutně zpracovává law a některé aplikace legálně sbírají data spadající pod pii. Jeden případ se čte jinak: jailbreaking nezávisí na předmětu, ale na úmyslu manipulovat s modelem, a zůstává kritický pro jakoukoli aplikaci otevřenou veřejnosti.
Analýza skóre v Pythonu
Následující funkce transformuje surové volání API na čitelný verdikt: izoluje kategorie překračující 0,3, identifikuje maximální skóre a jeho kategorii a vrací indikátor safe, který můžete přímo použít ve své aplikační logice.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyze text and return risk categories."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separate risk categories
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores je v SDK volitelné, odtud or {}. Spusť oba příklady na svém účtu: pozdrav by měl zůstat velmi nízký ve všech kategoriích, zatímco otázka na dávkování by měla vystřelit u health. Toto není „nebezpečný“ obsah v běžném slova smyslu – je to obsah, u kterého se musíš rozhodnout, zda spadá do tvého rozsahu.
Vícenásobné kategorie: Jeden text může spustit několik alertů
Jediný text může mít vysoká skóre ve více kategoriích současně – žádost o pomoc s daňovým podvodem zasáhne criminal, financial i law najednou. Tvá rozhodovací logika musí tuto mnohost zohlednit a především prioritizovat: funkce níže řadí porušení podle velikosti překročení prahu a říká ti, která kategorie blokování skutečně způsobila.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluate global risk considering all categories."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuration by profile
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profil strict_thresholds přesně následuje logiku tvrdých a měkkých kategorií uvedenou výše: prahové hodnoty 0,1 až 0,15 pro šest kritických kategorií a jailbreak, tolerance na 0,3 pro kontextové domény. Udržuj tuto strukturu jako svůj výchozí bod a dokumentuj jakékoli odchylky, které zavedeš.
Klíčové poznatky
mistral-moderation-2603analyzuje obsah v rámci 11 kategorií s pevnými klíči;hate,violencenebounpredictableneexistují- Každá kategorie vrací skóre od 0,0 do 1,0
- „Tvrdé“ kategorie (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) vyžadují nízké prahové hodnoty - „Měkké“ kategorie (health, financial, law) se upravují podle kontextu tvé aplikace
- Jediný text může současně spustit více kategorií
- Používej surová skóre (
category_scores) místo výchozích booleovských hodnot