Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

11 kategórií moderovania

Lekcia 6 z 12 Aktualizované 3. novembra 2026 Vývojár
Na tejto strane
  1. Pochopenie rizikových kategórií
  2. „Tvrdé“ vs. „Mäkké“ kategórie
  3. Analýza skóre v Pythone
  4. Viacero kategórií: Jeden text môže spustiť niekoľko upozornení
  5. Kľúčové poznatky

Aktualizované 3. novembra 2026. Tabuľka kategórií predtým uvádzala tri neexistujúce kľúče (hate, violence, unpredictable) a vynechávala dangerous. Jedenásť kľúčov nižšie zodpovedá modelu mistral-moderation-2603 na základe dokumentácie a typov z SDK mistralai verzie 3.7.0; popisy nasledujú definície spoločnosti Mistral. Výstupné hodnoty prezentované ako namerané údaje boli ilustračnými príkladmi a teraz sú jasne označené ako také. Zdroje: Moderation & Guardrailing · Mistral Moderation 2411 (zastaraný model).

Pochopenie rizikových kategórií

Model Mistral Moderation analyzuje obsah naprieč 11 odlišnými kategóriami. Každá kategória pokrýva špecifický typ rizika a vracia nezávislé skóre medzi 0,0 a 1,0. Presné pochopenie toho, čo každá kategória detekuje, je kľúčové pre nastavenie zmysluplných prahových hodnôt. Bez tejto jasnosti len hádaš čísla a čuduješ sa, prečo je obsah neočakávane blokovaný.

Nižšie uvedená tabuľka poskytuje presný kľúč API pre každú kategóriu, čo zahŕňa a aké typy prípadov v praxi zachytáva.

KategóriaKľúč APIČo Mistral zahŕňa
Sexuálny obsahsexualExplicitne opísané alebo propagované sexuálne aktivity, nahota alebo sexuálne služby; neexplicitný vzdelávací alebo lekársky obsah je zvyčajne vyňatý
Nenávisť a diskrimináciahate_and_discriminationPredsudky, nepriateľstvo alebo výzvy na diskrimináciu založené na chránených charakteristikách vrátane obťažovania
Násilie a vyhrážkyviolence_and_threatsOpísané, oslavované, podnecované alebo hroziace fyzické násilie a pokyny na jeho spáchanie
Nebezpečný obsahdangerousExtrémne nebezpečné správanie s vysokým rizikom fyzickej ujmy
Trestná činnosťcriminalOpísané alebo propagované nezákonné aktivity
SebapoškodzovanieselfharmSebapoškodzovanie, samovražda, poruchy príjmu potravy: metódy, oslavovanie, úmysel, nebezpečné výzvy
ZdraviehealthŽiadosti o poskytnutie alebo poskytovanie podrobnej alebo personalizovanej lekárskej rady
FinanciefinancialŽiadosti o poskytnutie alebo poskytovanie podrobnej alebo personalizovanej finančnej rady
Právne záležitostilawŽiadosti o poskytnutie alebo poskytovanie podrobnej alebo personalizovanej právnej rady
Osobné údajepiiŽiadosti, zdieľanie alebo pokusy o získanie identifikujúcich údajov: celé meno, adresa, telefónne číslo, rodné číslo, bankové údaje
JailbreakjailbreakingPokusy obísť pravidlá modelu manipuláciou s promptom, hraním rolí alebo inými technikami

Kategórie dangerous, criminal a jailbreaking prišli s modelom mistral-moderation-2603. Predchádzajúci model, mistral-moderation-2411, zastaraný 31. marca 2026, kombinoval prvé dve pod jediným kľúčom dangerous_and_criminal_content a nedetekoval jailbreaky. Niektoré príklady odpovedí v dokumentácii stále zobrazujú toto staršie rozdelenie: vždy si čítaj kľúče, ktoré API vracia, namiesto toho, aby si ich predpokladal.

„Tvrdé“ vs. „Mäkké“ kategórie

V praxi týchto 11 kategórií spadá do dvoch skupín na základe ich kritickosti a toto rozlíšenie určuje celú tvoju stratégiu prahových hodnôt.

Tvrdé kategórie — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal a selfharm — predstavujú vážne riziká, kde falošne negatívny výsledok (zlyhanie pri detekcii nebezpečného obsahu) môže mať ťažké následky. Sexuálny obsah so sebou nesie právne riziká a povinnosti chrániť maloletých; nenávistné prejavy ťa vystavujú veľkému poškodeniu reputácie a právnej zodpovednosti; násilie zahŕňa podnecovanie a vyhrážky; kategórie nebezpečného obsahu a trestnej činnosti pokrývajú vysoko rizikové správanie a nezákonné aktivity; sebapoškodzovanie sa týka bezpečnosti používateľa a život ohrozujúcich situácií. Pre týchto šesť kategórií sú opodstatnené nízke prahové hodnoty 0,1 až 0,2 bez ohľadu na tvoj produkt a zámerne akceptuješ určité falošne pozitívne výsledky.

Mäkké kategórie závisia vo veľkej miere od kontextu tvojej aplikácie s nastaviteľnými prahovými hodnotami medzi 0,3 a 0,8. Legitímny lekársky chatbot potrebuje diskutovať o health, fintech aplikácia vyžaduje konverzácie pokryté kategóriou financial, právny asistent nevyhnutne vybavuje law a niektoré aplikácie legálne zbierajú údaje spadajúce pod pii. Jeden prípad sa číta inak: jailbreaking nezávisí od predmetu, ale od úmyslu manipulovať s modelom, a zostáva kritický pre akúkoľvek aplikáciu otvorenú verejnosti.

Analýza skóre v Pythone

Nasledujúca funkcia transformuje surové volanie API na čitateľný verdikt: izoluje kategórie presahujúce 0,3, identifikuje maximálne skóre a jeho kategóriu a vracia indikátor safe, ktorý môžeš priamo použiť v logike svojej aplikácie.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores je v SDK voliteľné, odtiaľ pochádza or {}. Spusť oba príklady na svojom účte: pozdrav by mal zostať vo všetkých smeroch veľmi nízky, zatiaľ čo otázka na dávkovanie by mala vystreliť pri kategórii health. Toto nie je „nebezpečný“ obsah v bežnom zmysle slova – je to obsah, o ktorom sa musíš rozhodnúť, či patrí do tvojej pôsobnosti.

Viacero kategórií: Jeden text môže spustiť niekoľko upozornení

Jeden text môže mať súčasne vysoké skóre vo viacerých kategóriách – žiadosť o pomoc s daňovým podvodom zasiahne naraz criminal, financial aj law. Tvoja rozhodovacia logika musí počítať s touto mnohosťou a predovšetkým uprednostňovať: funkcia nižšie triedi porušenia podľa veľkosti prekročenia prahu a hovorí ti, ktorá kategória skutočne spôsobila blokovanie.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profil strict_thresholds presne nasleduje vyššie uvedenú logiku tvrdých a mäkkých kategórií: prahové hodnoty 0,1 až 0,15 pre šesť kritických kategórií a jailbreak, tolerancia na úrovni 0,3 pre kontextové domény. Túto štruktúru si ponechaj ako východiskový bod a zdokumentuj akékoľvek odchýlky, ktoré zavedieš.

Kľúčové poznatky

  • mistral-moderation-2603 analyzuje obsah naprieč 11 kategóriami s pevnými kľúčmi; hate, violence alebo unpredictable neexistujú
  • Každá kategória vracia skóre od 0,0 do 1,0
  • „Tvrdé“ kategórie (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) vyžadujú nízke prahové hodnoty
  • „Mäkké“ kategórie (health, financial, law) sa upravujú na základe kontextu tvojej aplikácie
  • Jediný text môže súčasne spustiť viacero kategórií
  • Používaj surové skóre (category_scores) namiesto predvolených booleovských hodnôt