Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

A 11 moderációs kategória

6. lecke 12 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Kockázati kategóriák megértése
  2. „Szigorú“ és „rugalmas“ kategóriák
  3. Pontszámok elemzése Pythonban
  4. Több kategória: Egy szöveg több riasztást is kiválthat
  5. Főbb megállapítások

Frissítve: 2026. november 3. A korábbi kategóriatáblázat három nem létező kulcsot (hate, violence, unpredictable) sorolt fel, és kihagyta a dangerous kulcsot. Az alábbi tizenegy kulcs a mistral-moderation-2603 modellt tükrözi, a dokumentáció és a mistralai SDK 3.7.0 típusai alapján; a leírások követik a Mistral definícióit. A mérési adatként bemutatott kimeneti értékek szemléltető példák voltak, most már egyértelműen így vannak megjelölve. Források: Moderation & Guardrailing · Mistral Moderation 2411 (elavult modell).

Kockázati kategóriák megértése

A Mistral Moderation modell a tartalmakat 11 különálló kategória alapján elemzi. Minden kategória egy adott kockázattípust fed le, és 0,0 és 1,0 közötti független pontszámot ad vissza. Elengedhetetlen, hogy pontosan tudd, mit észlel az egyes kategóriákban, ha értelmes küszöbértékeket akarsz beállítani. Ezen egyértelműség nélkül csak találgatsz a számokkal, és csodálkozol, miért blokkolja a rendszer váratlanul a tartalmakat.

Az alábbi táblázat megadja minden kategória pontos API-kulcsát, lefedi területét, valamint a gyakorlatban előforduló eseteket, amelyeket észlel.

KategóriaAPI-kulcsAmit a Mistral tartalmaz
Szexuális tartalomsexualKifejezetten leírt vagy népszerűsített szexuális tevékenységek, meztelenség vagy szexuális szolgáltatások; a nem explicit oktatási vagy orvosi tartalmak általában mentesülnek
Gyűlölet és diszkriminációhate_and_discriminationElőítélet, ellenségeskedés vagy védett jellemzők alapján történő diszkriminációra való felhívás, beleértve a zaklatást is
Erőszak és fenyegetésviolence_and_threatsLeírt, dicsőített, uszított vagy fenyegető fizikai erőszak, valamint annak végrehajtására vonatkozó utasítások
Veszélyes tartalomdangerousRendkívül veszélyes magatartások, amelyek magas fizikai sérülés kockázatával járnak
Bűnözői tevékenységekcriminalLeírt vagy népszerűsített illegális tevékenységek
ÖnkárosításselfharmÖnkárosítás, öngyilkosság, evészavarok: módszerek, dicsőítés, szándék, veszélyes kihívások
EgészségügyhealthRészletes vagy személyre szabott orvosi tanácsadás kérése vagy nyújtása
PénzügyekfinancialRészletes vagy személyre szabott pénzügyi tanácsadás kérése vagy nyújtása
JoglawRészletes vagy személyre szabott jogi tanácsadás kérése vagy nyújtása
Személyes adatokpiiAzonosító adatok kérése, megosztása vagy megszerzésére irányuló kísérlet: teljes név, cím, telefonszám, társadalombiztosítási szám, bankszámlaadatok
Jailbreak (kijátszás)jailbreakingKísérletek a modell szabályainak kijátszására prompt-manipuláció, szerepjáték vagy egyéb technikák révén

A dangerous, criminal és jailbreaking kategóriák a mistral-moderation-2603 verzióval jelentek meg. Az előző modell, a mistral-moderation-2411, amelyet 2026. március 31-én vezettek ki, az első kettőt egyetlen dangerous_and_criminal_content kulcs alatt egyesítette, és nem észlelte a jailbreak kísérleteket. A dokumentáció egyes válaszpéldái még ezt a régebbi felbontást mutatják: mindig olvasd el az API által visszaadott kulcsokat, ne feltételezd őket.

„Szigorú“ és „rugalmas“ kategóriák

A gyakorlatban ez a 11 kategória két csoportra oszlik a kritikalitás alapján, és ez a megkülönböztetés határozza meg a teljes küszöbérték-stratégiádat.

Szigorú kategóriák — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal és selfharm — olyan súlyos kockázatokat jelentenek, ahol a hamis negatív eredmény (a veszélyes tartalom észlelésének elmulasztása) súlyos következményekkel járhat. A szexuális tartalom jogi kockázatot és kiskorúak védelmére vonatkozó kötelezettségeket hordoz; a gyűlöletbeszéd jelentős hírnévkárosodást és jogi felelősséget vonhat maga után; az erőszak uszítást és fenyegetést foglal magában; a veszélyes és bűnözői kategóriák magas kockázatú magatartásokat és illegális tevékenységeket fednek le; az önkárosítás pedig a felhasználói biztonságot és életveszélyes helyzeteket érinti. Ennél a hat kategóriánál a 0,1 és 0,2 közötti alacsony küszöbértékek indokoltak, függetlenül a termékedtől, és tudatosan vállalsz némi hamis pozitív eredményt.

Rugalmas kategóriák erősen függenek az alkalmazásod kontextusától, a küszöbértékek 0,3 és 0,8 között állíthatók. Egy legitim orvosi chatbotnak beszélnie kell a health témaköréről, egy fintech alkalmazásnak szüksége van a financial körébe tartozó beszélgetésekre, egy jogi asszisztensnek szükségszerűen kezelnie kell a law kategóriát, és egyes alkalmazások jogszerűen gyűjtenek a pii alá eső adatokat. Egy eset másképp olvasandó: a jailbreaking nem a tárgytól, hanem a modell manipulálására irányuló szándéktól függ, és minden nyilvános alkalmazás számára kritikus marad.

Pontszámok elemzése Pythonban

Az alábbi függvény egy nyers API-hívást olvasható ítéletté alakít: kiszűri a 0,3 feletti kategóriákat, azonosítja a maximális pontszámot és annak kategóriáját, valamint visszaad egy safe jelzőt, amelyet közvetlenül használhatsz az alkalmazáslogikádban.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

A category_scores az SDK-ban opcionális, ezért az or {}. Futtasd le mindkét példát a saját fiókodon: az üdvözlésnek mindenhol nagyon alacsonynak kell maradnia, míg az adagolásra vonatkozó kérdésnek a health kategóriában kell kiugrania. Ez nem „veszélyes“ tartalom a köznyelvi értelemben – ez olyan tartalom, amelyről neked kell eldöntened, hogy a hatáskörödbe tartozik-e.

Több kategória: Egy szöveg több riasztást is kiválthat

Egyetlen szöveg egyszerre több kategóriában is magas pontszámot érhet el – egy adócsalással kapcsolatos segítségkérés egyszerre érinti a criminal, financial és law kategóriákat. Döntési logikádnak figyelembe kell vennie ezt a sokrétűséget, és mindenekelőtt prioritást kell felállítania: az alábbi függvény a szabálysértéseket a küszöbérték-túllépés mértéke szerint rendezi, megmondva neked, melyik kategória okozta valójában a blokkolást.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

A strict_thresholds profil pontosan követi a fent vázolt szigorú/rugalmas logikát: 0,1 és 0,15 közötti küszöbértékek a hat kritikus kategóriára és a jailbreakre, míg a kontextuális domaineknél 0,3-as tolerancia. Tartsd meg ezt a struktúrát kiindulópontként, és dokumentáld az esetleges eltéréseket, amelyeket bevezetsz.

Főbb megállapítások

  • A mistral-moderation-2603 11 kategória alapján elemzi a tartalmakat rögzített kulcsokkal; a hate, violence vagy unpredictable nem létezik
  • Minden kategória 0,0 és 1,0 közötti pontszámot ad vissza
  • A „szigorú“ kategóriák (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) alacsony küszöbértékeket igényelnek
  • A „rugalmas“ kategóriák (health, financial, law) az alkalmazás kontextusa alapján állíthatók
  • Egyetlen szöveg több kategóriát is aktiválhat egyszerre
  • Használd a nyers pontszámokat (category_scores) az alapértelmezett boolean értékek helyett