Moderációs pontszámok és küszöbértékek
Ezen az oldalon
Frissítve: 2026. november 3. A korábbi küszöbprofilok nem létező kategóriákra hivatkoztak (
hate,violence,unpredictable); mostantól igazodnak amistral-moderation-2603tizenegy kulcsához, beleértve adangerouskategóriát is. A pontszámok értelmezéséhez útmutatót biztosítunk tanulási céllal, mivel a Mistral nem tesz közzé ilyet. A monitor korábbanKeyErrorkivételt dobott, ha hiányzott egy kategória a profilból, és adatetime.utcnow()függvényt használta, amely Python 3.12 óta elavult. Források: Moderáció és védelmi korlátok · datetime.utcnow.
A moderációs pontszámok értelmezése
Minden kategória 0,0 és 1,0 közötti pontszámot ad vissza. De mit is jelentenek valójában ezek a számok? És hogyan állítsd be a döntési küszöbértékeket az alkalmazásodhoz? Ez a lecke megadja a kulcsot ahhoz, hogy a nyers pontszámokból automatizált döntéseket hozz – átlépve a méréstől a szabályozás felé.
Először is értsd meg, hogy a Mistral ezeket a pontszámokat nem kalibrált valószínűségként kezeli. A 0,6-os pontszám nem azt jelenti, hogy „hat a tízből az esélye annak, hogy a szöveg veszélyes“; ez a osztályozó erős jelzése. A dokumentáció két hasznos pontra hívja fel a figyelmet. A válaszban található categories boolean értékek olyan küszöbértékeket alkalmaznak, amelyeket a Mistral a belső tesztadathalmazán elért optimális teljesítmény érdekében választott; használhatod ezeket, vagy kiindulhatsz a nyers pontszámokból, és beállíthatod a sajátjaidat. Ezen a tesztadathalmazon a kategóriák precizitása 0,8 és 1,0 között, a visszahívási rátája (recall) pedig 0,7 és 1,0 között mozog: előfordulnak téves riasztások és elmulasztott tartalmak is, ezért van szükség a manuálisan hangolt küszöbértékekre.
Az alábbi táblázatot nem a Mistral tette közzé: ez egy kiindulási referencia, amelyet a saját metrikáid alapján kell validálnod.
| Tartomány | Értelmezés |
|---|---|
| 0,0 - 0,1 | Egyértelműen biztonságos tartalom, nincs észlelt jel |
| 0,1 - 0,3 | Gyenge jel, esetleg jóindulatú, de ambivalens |
| 0,3 - 0,5 | Közepes jel, potenciálisan problémás tartalom |
| 0,5 - 0,7 | Erős jel, nagy valószínűséggel problémás tartalom |
| 0,7 - 1,0 | Nagyon erős jel, nyilvánvalóan veszélyes tartalom |
A küszöbértékek meghatározása: A döntési mátrix
A küszöbérték megválasztása kompromisszum a biztonság (a lehető legtöbb tartalom blokkolása) és a használhatóság (a téves riasztások minimalizálása) között. Nincs olyan beállítás, amely mindkét téren győzelmet aratna, és ennek ellenkezőjét állítani végtelen oda-vissza vitákhoz vezet. A működő módszer három explicit profil meghatározása, és minden alkalmazás hozzárendelése az egyikhez.
A szigorú profil olyan fogyasztói alkalmazásokat céloz meg, ahol kiskorúak is jelen lehetnek; a kiegyensúlyozott profil azonosított felhasználókkal rendelkező B2B szakmai alkalmazásokhoz illik; a megengedő profil pedig olyan belső eszközök számára fenntartott, amelyeket szakértők kezelnek, akik tisztában vannak vele, mit kérdeznek.
# Három küszöbprofil
PROFILES = {
"strict": {
# Fogyasztói alkalmazás, gyerekek is jelen lehetnek
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B szakmai alkalmazás
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Belső eszköz szakértők számára
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Hasonlítsd össze a health oszlopot a profilok között: 0,2, majd 0,4, végül 0,7. Ugyanazt a dózisról szóló beszélgetést az első esetben blokkolja a rendszer, az utolsóban pedig elfogadja. A használati kontextus dönt, nem a szöveg természete.
Többszintű osztályozási rendszer
A blokkolás vagy elfogadás bináris szemlélete leegyszerűsíti a valóságot. A nyilvánvalóan biztonságos és a nyilvánvalóan szabályszegő tartalom között van egy szürke zóna, ahol a helyes döntés a megjelenítés figyelmeztetéssel kombinálva. Az alábbi függvény bevezeti ezt a harmadik állapotot: a küszöbérték felett blokkolj; a küszöbérték 60%-a felett figyelmeztess és naplózz; ez alatt pedig engedd át.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Zöld: biztonságos tartalom
WARNING = "warning" # Narancs: figyelendő tartalom
BLOCKED = "blocked" # Piros: blokkolt tartalom
def classify_content(scores: dict, thresholds: dict) -> dict:
"""A tartalmat 3 kockázati szintre osztályozza."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Figyelmeztetési zóna: a küszöbérték 60%-a
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
A narancs zóna értéke ugyanolyan operatív, mint edukatív: megmutatja, mi súrolja a küszöbértékeidet. Ha egy kategória sok figyelmeztetést generál anélkül, hogy valaha is átlépné a határt, tudni fogod, hogy néhány századnyi módosítás jelentős forgalmi mennyiséget mozdítana el.
Gyakorlati példa: Elemzés és döntés
Az egész folyamat egyetlen függvényre redukálódik: hívd meg az osztályozót, alkalmazd a profilt, hozd meg a döntést. Az alábbi összehasonlítás demonstrációként szolgál – egy paracetamol-adagolást a szigorú profilban a health kategória miatt blokkol, a megengedő profilban pedig elfogad, anélkül, hogy egyetlen sor szöveg is megváltozna.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderálja a szöveget, és a profil alapján döntést hoz."""
# Hívás a moderációs API-ra
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Profil küszöbértékeinek alkalmazása
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Tesztelés különböző profilokkal
text = "Take 2 paracetamol tablets every 6 hours"
# Szigorú profil: valószínűleg blokkolva (health)
result_strict = moderate_and_decide(text, "strict")
# Megengedő profil: valószínűleg elfogadva
result_permissive = moderate_and_decide(text, "permissive")
A küszöbértékek dinamikus hangolása
Éles környezetben a küszöbértékeidnek evolúcióra van szükségük, és ezt az evolúciót adatokkal irányítod. Az alábbi monitor minden döntést egy JSONL fájlba ír, és kategóriánként számlálókat vezet a blokkolásokról, figyelmeztetésekről és az áthaladásokról. Az így kapott jelentés kategóriánkénti blokkolási rátát ad – ez az egyetlen metrika, amely megmutatja, ha egy küszöbérték túl alacsony.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Moderációs metrikákat gyűjt a küszöbértékek hangolásához."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Naplóz egy moderációs döntést."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Számlálók frissítése
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Jelentést generál a küszöbértékek hangolásához."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Kerülendő csapdák
Az első csapda, ha egyetlen küszöbértéket alkalmazol minden kategóriára. Minden kategóriának megvan a maga pontszámeloszlása: a 0,3-as küszöbérték a hate_and_discrimination esetén nem jelent ugyanazt, mint a health esetén, ahol a legitim tartalmak természetesen magasabb értékeken helyezkednek el a skálán. Hangold be egyesével minden kategóriát, még akkor is, ha ez tizenegy döntés meghozatalát jelenti egy helyett.
A második a téves riasztások figyelmen kívül hagyása. A magas blokkolási ráta sokkal gyorsabban erodálja a felhasználói bizalmat, mint egy elszigetelt incidens, mert jóhiszeműen cselekvő embereket érint. Kövesd nyomon a blokkolási rátát kategóriánként, és emeld a küszöbértékeket, ha az adatok ezt indokolják.
A harmadik, alattomosabb hiba a döntések naplózásának elmulasztása. Naplók nélkül nem tudod informált módon hangolni a küszöbértékeidet, és visszatérsz a véleményalapú vitákhoz. Rendszeresen rögzítsd a pontszámokat, az alkalmazott küszöbértékeket és a meghozott döntéseket – ez a korpusz teszi majd gyorszá és vitathatatlanná a következő revíziót.
Főbb megállapítások
- A pontszámok 0,0 és 1,0 között mozognak; nem kalibrált valószínűségek, és a Mistral arra ösztönöz, hogy állítsd be a saját küszöbértékeidet
- Határozz meg a kontextusodhoz igazított küszöbprofilokat (szigorú, kiegyensúlyozott, megengedő)
- Implementálj egy 3-szintű rendszert: biztonságos, figyelmeztetés, blokkolt
- Naplózz minden döntést a küszöbértékeid folyamatos hangolásához
- Minden kategória saját küszöbértéket igényel – nincs egyetlen mindenre jó érték