Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

11 kategorií moderování

Lekce 6 z 12 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Porozumění kategoriím rizika
  2. „Tvrdé“ versus „měkké“ kategorie
  3. Analýza skóre v Pythonu
  4. Vícenásobné kategorie: Jeden text může spustit několik alertů
  5. Klíčové poznatky

Aktualizováno 3. listopadu 2026. Tabulka kategorií dříve uváděla tři neexistující klíče (hate, violence, unpredictable) a opomíjela dangerous. Jedenáct klíčů níže odpovídá modelu mistral-moderation-2603 na základě dokumentace a typů z SDK mistralai verze 3.7.0; popisy vycházejí z definic společnosti Mistral. Výstupní hodnoty prezentované jako naměřená data byly ilustračními příklady a nyní jsou jako takové jasně označeny. Zdroje: Moderation & Guardrailing · Mistral Moderation 2411 (zastaralý model).

Porozumění kategoriím rizika

Model Mistral Moderation analyzuje obsah v rámci 11 odlišných kategorií. Každá kategorie pokrývá specifický typ rizika a vrací nezávislé skóre mezi 0,0 a 1,0. Přesné pochopení toho, co každá kategorie detekuje, je zásadní pro nastavení smysluplných prahových hodnot. Bez této jasnosti jen hádáte čísla a divíte se, proč je obsah neočekávaně blokován.

Následující tabulka uvádí přesný klíč API pro každou kategorii, co zahrnuje a jaké typy případů v praxi zachytává.

KategorieKlíč APICo Mistral zahrnuje
Sexuální obsahsexualExplicitně popisované nebo propagované sexuální aktivity, nahota nebo sexuální služby; neexplicitní vzdělávací nebo lékařský obsah je obecně vyňat
Nenávist a diskriminacehate_and_discriminationPředsudky, nepřátelství nebo výzvy k diskriminaci na základě chráněných charakteristik, včetně obtěžování
Násilí a vyhrožováníviolence_and_threatsPopisované, oslavované, podněcované nebo hrozící fyzické násilí a pokyny k jeho páchání
Nebezpečný obsahdangerousExtrémně nebezpečné chování s vysokým rizikem fyzické újmy
Trestná činnostcriminalPopisované nebo propagované nezákonné aktivity
SebepoškozováníselfharmSebepoškozování, sebevražda, poruchy příjmu potravy: metody, oslavování, úmysl, nebezpečné výzvy
ZdravíhealthŽádosti o poskytnutí nebo poskytování podrobných či personalizovaných lékařských rad
FinancefinancialŽádosti o poskytnutí nebo poskytování podrobných či personalizovaných finančních rad
PrávolawŽádosti o poskytnutí nebo poskytování podrobných či personalizovaných právních rad
Osobní údajepiiŽádosti, sdílení nebo pokusy o získání identifikujících údajů: celé jméno, adresa, telefonní číslo, rodné číslo, bankovní údaje
JailbreakjailbreakingPokusy obejít pravidla modelu prostřednictvím manipulace s promptem, hraní rolí nebo jinými technikami

Kategorie dangerous, criminal a jailbreaking přišly s modelem mistral-moderation-2603. Předchozí model, mistral-moderation-2411, zastaralý k 31. březnu 2026, kombinoval první dvě pod jediným klíčem dangerous_and_criminal_content a nedetekoval jailbreaky. Některé příklady odpovědí v dokumentaci stále zobrazují toto starší rozdělení: vždy si přečtěte klíče, které API vrací, místo abyste je předpokládali.

„Tvrdé“ versus „měkké“ kategorie

V praxi těchto 11 kategorií spadá do dvou skupin na základě kritičnosti a toto rozlišení řídí celou vaši strategii prahových hodnot.

Tvrdé kategorie — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal a selfharm — představují vážná rizika, kde falešně negativní výsledek (selhání při detekci nebezpečného obsahu) může mít závažné následky. Sexuální obsah nese právní rizika a povinnost chránit nezletilé; nenávistné projevy vás vystavují velkému poškození pověsti a právní odpovědnosti; násilí zahrnuje podněcování a vyhrožování; kategorie nebezpečného obsahu a trestné činnosti pokrývají vysoce rizikové chování a nezákonné aktivity; sebepoškozování zahrnuje bezpečnost uživatelů a život ohrožující situace. Pro těchto šest kategorií jsou nízké prahové hodnoty 0,1 až 0,2 opodstatněné bez ohledu na váš produkt a vědomě přijímáte určitý počet falešně pozitivních výsledků.

Měkké kategorie silně závisí na kontextu vaší aplikace s nastavitelnými prahovými hodnotami mezi 0,3 a 0,8. Legitimní lékařský chatbot potřebuje diskutovat o health, fintech aplikace vyžaduje konverzace pokryté kategorií financial, právní asistent nutně zpracovává law a některé aplikace legálně sbírají data spadající pod pii. Jeden případ se čte jinak: jailbreaking nezávisí na předmětu, ale na úmyslu manipulovat s modelem, a zůstává kritický pro jakoukoli aplikaci otevřenou veřejnosti.

Analýza skóre v Pythonu

Následující funkce transformuje surové volání API na čitelný verdikt: izoluje kategorie překračující 0,3, identifikuje maximální skóre a jeho kategorii a vrací indikátor safe, který můžete přímo použít ve své aplikační logice.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores je v SDK volitelné, odtud or {}. Spusť oba příklady na svém účtu: pozdrav by měl zůstat velmi nízký ve všech kategoriích, zatímco otázka na dávkování by měla vystřelit u health. Toto není „nebezpečný“ obsah v běžném slova smyslu – je to obsah, u kterého se musíš rozhodnout, zda spadá do tvého rozsahu.

Vícenásobné kategorie: Jeden text může spustit několik alertů

Jediný text může mít vysoká skóre ve více kategoriích současně – žádost o pomoc s daňovým podvodem zasáhne criminal, financial i law najednou. Tvá rozhodovací logika musí tuto mnohost zohlednit a především prioritizovat: funkce níže řadí porušení podle velikosti překročení prahu a říká ti, která kategorie blokování skutečně způsobila.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profil strict_thresholds přesně následuje logiku tvrdých a měkkých kategorií uvedenou výše: prahové hodnoty 0,1 až 0,15 pro šest kritických kategorií a jailbreak, tolerance na 0,3 pro kontextové domény. Udržuj tuto strukturu jako svůj výchozí bod a dokumentuj jakékoli odchylky, které zavedeš.

Klíčové poznatky

  • mistral-moderation-2603 analyzuje obsah v rámci 11 kategorií s pevnými klíči; hate, violence nebo unpredictable neexistují
  • Každá kategorie vrací skóre od 0,0 do 1,0
  • „Tvrdé“ kategorie (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) vyžadují nízké prahové hodnoty
  • „Měkké“ kategorie (health, financial, law) se upravují podle kontextu tvé aplikace
  • Jediný text může současně spustit více kategorií
  • Používej surová skóre (category_scores) místo výchozích booleovských hodnot