A 11 moderációs kategória
Ezen az oldalon
Frissítve: 2026. november 3. A korábbi kategóriatáblázat három nem létező kulcsot (
hate,violence,unpredictable) sorolt fel, és kihagyta adangerouskulcsot. Az alábbi tizenegy kulcs amistral-moderation-2603modellt tükrözi, a dokumentáció és amistralaiSDK 3.7.0 típusai alapján; a leírások követik a Mistral definícióit. A mérési adatként bemutatott kimeneti értékek szemléltető példák voltak, most már egyértelműen így vannak megjelölve. Források: Moderation & Guardrailing · Mistral Moderation 2411 (elavult modell).
Kockázati kategóriák megértése
A Mistral Moderation modell a tartalmakat 11 különálló kategória alapján elemzi. Minden kategória egy adott kockázattípust fed le, és 0,0 és 1,0 közötti független pontszámot ad vissza. Elengedhetetlen, hogy pontosan tudd, mit észlel az egyes kategóriákban, ha értelmes küszöbértékeket akarsz beállítani. Ezen egyértelműség nélkül csak találgatsz a számokkal, és csodálkozol, miért blokkolja a rendszer váratlanul a tartalmakat.
Az alábbi táblázat megadja minden kategória pontos API-kulcsát, lefedi területét, valamint a gyakorlatban előforduló eseteket, amelyeket észlel.
| Kategória | API-kulcs | Amit a Mistral tartalmaz |
|---|---|---|
| Szexuális tartalom | sexual | Kifejezetten leírt vagy népszerűsített szexuális tevékenységek, meztelenség vagy szexuális szolgáltatások; a nem explicit oktatási vagy orvosi tartalmak általában mentesülnek |
| Gyűlölet és diszkrimináció | hate_and_discrimination | Előítélet, ellenségeskedés vagy védett jellemzők alapján történő diszkriminációra való felhívás, beleértve a zaklatást is |
| Erőszak és fenyegetés | violence_and_threats | Leírt, dicsőített, uszított vagy fenyegető fizikai erőszak, valamint annak végrehajtására vonatkozó utasítások |
| Veszélyes tartalom | dangerous | Rendkívül veszélyes magatartások, amelyek magas fizikai sérülés kockázatával járnak |
| Bűnözői tevékenységek | criminal | Leírt vagy népszerűsített illegális tevékenységek |
| Önkárosítás | selfharm | Önkárosítás, öngyilkosság, evészavarok: módszerek, dicsőítés, szándék, veszélyes kihívások |
| Egészségügy | health | Részletes vagy személyre szabott orvosi tanácsadás kérése vagy nyújtása |
| Pénzügyek | financial | Részletes vagy személyre szabott pénzügyi tanácsadás kérése vagy nyújtása |
| Jog | law | Részletes vagy személyre szabott jogi tanácsadás kérése vagy nyújtása |
| Személyes adatok | pii | Azonosító adatok kérése, megosztása vagy megszerzésére irányuló kísérlet: teljes név, cím, telefonszám, társadalombiztosítási szám, bankszámlaadatok |
| Jailbreak (kijátszás) | jailbreaking | Kísérletek a modell szabályainak kijátszására prompt-manipuláció, szerepjáték vagy egyéb technikák révén |
A dangerous, criminal és jailbreaking kategóriák a mistral-moderation-2603 verzióval jelentek meg. Az előző modell, a mistral-moderation-2411, amelyet 2026. március 31-én vezettek ki, az első kettőt egyetlen dangerous_and_criminal_content kulcs alatt egyesítette, és nem észlelte a jailbreak kísérleteket. A dokumentáció egyes válaszpéldái még ezt a régebbi felbontást mutatják: mindig olvasd el az API által visszaadott kulcsokat, ne feltételezd őket.
„Szigorú“ és „rugalmas“ kategóriák
A gyakorlatban ez a 11 kategória két csoportra oszlik a kritikalitás alapján, és ez a megkülönböztetés határozza meg a teljes küszöbérték-stratégiádat.
Szigorú kategóriák — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal és selfharm — olyan súlyos kockázatokat jelentenek, ahol a hamis negatív eredmény (a veszélyes tartalom észlelésének elmulasztása) súlyos következményekkel járhat. A szexuális tartalom jogi kockázatot és kiskorúak védelmére vonatkozó kötelezettségeket hordoz; a gyűlöletbeszéd jelentős hírnévkárosodást és jogi felelősséget vonhat maga után; az erőszak uszítást és fenyegetést foglal magában; a veszélyes és bűnözői kategóriák magas kockázatú magatartásokat és illegális tevékenységeket fednek le; az önkárosítás pedig a felhasználói biztonságot és életveszélyes helyzeteket érinti. Ennél a hat kategóriánál a 0,1 és 0,2 közötti alacsony küszöbértékek indokoltak, függetlenül a termékedtől, és tudatosan vállalsz némi hamis pozitív eredményt.
Rugalmas kategóriák erősen függenek az alkalmazásod kontextusától, a küszöbértékek 0,3 és 0,8 között állíthatók. Egy legitim orvosi chatbotnak beszélnie kell a health témaköréről, egy fintech alkalmazásnak szüksége van a financial körébe tartozó beszélgetésekre, egy jogi asszisztensnek szükségszerűen kezelnie kell a law kategóriát, és egyes alkalmazások jogszerűen gyűjtenek a pii alá eső adatokat. Egy eset másképp olvasandó: a jailbreaking nem a tárgytól, hanem a modell manipulálására irányuló szándéktól függ, és minden nyilvános alkalmazás számára kritikus marad.
Pontszámok elemzése Pythonban
Az alábbi függvény egy nyers API-hívást olvasható ítéletté alakít: kiszűri a 0,3 feletti kategóriákat, azonosítja a maximális pontszámot és annak kategóriáját, valamint visszaad egy safe jelzőt, amelyet közvetlenül használhatsz az alkalmazáslogikádban.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyze text and return risk categories."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separate risk categories
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
A category_scores az SDK-ban opcionális, ezért az or {}. Futtasd le mindkét példát a saját fiókodon: az üdvözlésnek mindenhol nagyon alacsonynak kell maradnia, míg az adagolásra vonatkozó kérdésnek a health kategóriában kell kiugrania. Ez nem „veszélyes“ tartalom a köznyelvi értelemben – ez olyan tartalom, amelyről neked kell eldöntened, hogy a hatáskörödbe tartozik-e.
Több kategória: Egy szöveg több riasztást is kiválthat
Egyetlen szöveg egyszerre több kategóriában is magas pontszámot érhet el – egy adócsalással kapcsolatos segítségkérés egyszerre érinti a criminal, financial és law kategóriákat. Döntési logikádnak figyelembe kell vennie ezt a sokrétűséget, és mindenekelőtt prioritást kell felállítania: az alábbi függvény a szabálysértéseket a küszöbérték-túllépés mértéke szerint rendezi, megmondva neked, melyik kategória okozta valójában a blokkolást.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluate global risk considering all categories."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuration by profile
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
A strict_thresholds profil pontosan követi a fent vázolt szigorú/rugalmas logikát: 0,1 és 0,15 közötti küszöbértékek a hat kritikus kategóriára és a jailbreakre, míg a kontextuális domaineknél 0,3-as tolerancia. Tartsd meg ezt a struktúrát kiindulópontként, és dokumentáld az esetleges eltéréseket, amelyeket bevezetsz.
Főbb megállapítások
- A
mistral-moderation-260311 kategória alapján elemzi a tartalmakat rögzített kulcsokkal; ahate,violencevagyunpredictablenem létezik - Minden kategória 0,0 és 1,0 közötti pontszámot ad vissza
- A „szigorú“ kategóriák (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) alacsony küszöbértékeket igényelnek - A „rugalmas“ kategóriák (health, financial, law) az alkalmazás kontextusa alapján állíthatók
- Egyetlen szöveg több kategóriát is aktiválhat egyszerre
- Használd a nyers pontszámokat (
category_scores) az alapértelmezett boolean értékek helyett