Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Moderációs pontszámok és küszöbértékek

7. lecke 12 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. A moderációs pontszámok értelmezése
  2. A küszöbértékek meghatározása: A döntési mátrix
  3. Többszintű osztályozási rendszer
  4. Gyakorlati példa: Elemzés és döntés
  5. A küszöbértékek dinamikus hangolása
  6. Kerülendő csapdák
  7. Főbb megállapítások

Frissítve: 2026. november 3. A korábbi küszöbprofilok nem létező kategóriákra hivatkoztak (hate, violence, unpredictable); mostantól igazodnak a mistral-moderation-2603 tizenegy kulcsához, beleértve a dangerous kategóriát is. A pontszámok értelmezéséhez útmutatót biztosítunk tanulási céllal, mivel a Mistral nem tesz közzé ilyet. A monitor korábban KeyError kivételt dobott, ha hiányzott egy kategória a profilból, és a datetime.utcnow() függvényt használta, amely Python 3.12 óta elavult. Források: Moderáció és védelmi korlátok · datetime.utcnow.

A moderációs pontszámok értelmezése

Minden kategória 0,0 és 1,0 közötti pontszámot ad vissza. De mit is jelentenek valójában ezek a számok? És hogyan állítsd be a döntési küszöbértékeket az alkalmazásodhoz? Ez a lecke megadja a kulcsot ahhoz, hogy a nyers pontszámokból automatizált döntéseket hozz – átlépve a méréstől a szabályozás felé.

Először is értsd meg, hogy a Mistral ezeket a pontszámokat nem kalibrált valószínűségként kezeli. A 0,6-os pontszám nem azt jelenti, hogy „hat a tízből az esélye annak, hogy a szöveg veszélyes“; ez a osztályozó erős jelzése. A dokumentáció két hasznos pontra hívja fel a figyelmet. A válaszban található categories boolean értékek olyan küszöbértékeket alkalmaznak, amelyeket a Mistral a belső tesztadathalmazán elért optimális teljesítmény érdekében választott; használhatod ezeket, vagy kiindulhatsz a nyers pontszámokból, és beállíthatod a sajátjaidat. Ezen a tesztadathalmazon a kategóriák precizitása 0,8 és 1,0 között, a visszahívási rátája (recall) pedig 0,7 és 1,0 között mozog: előfordulnak téves riasztások és elmulasztott tartalmak is, ezért van szükség a manuálisan hangolt küszöbértékekre.

Az alábbi táblázatot nem a Mistral tette közzé: ez egy kiindulási referencia, amelyet a saját metrikáid alapján kell validálnod.

TartományÉrtelmezés
0,0 - 0,1Egyértelműen biztonságos tartalom, nincs észlelt jel
0,1 - 0,3Gyenge jel, esetleg jóindulatú, de ambivalens
0,3 - 0,5Közepes jel, potenciálisan problémás tartalom
0,5 - 0,7Erős jel, nagy valószínűséggel problémás tartalom
0,7 - 1,0Nagyon erős jel, nyilvánvalóan veszélyes tartalom

A küszöbértékek meghatározása: A döntési mátrix

A küszöbérték megválasztása kompromisszum a biztonság (a lehető legtöbb tartalom blokkolása) és a használhatóság (a téves riasztások minimalizálása) között. Nincs olyan beállítás, amely mindkét téren győzelmet aratna, és ennek ellenkezőjét állítani végtelen oda-vissza vitákhoz vezet. A működő módszer három explicit profil meghatározása, és minden alkalmazás hozzárendelése az egyikhez.

A szigorú profil olyan fogyasztói alkalmazásokat céloz meg, ahol kiskorúak is jelen lehetnek; a kiegyensúlyozott profil azonosított felhasználókkal rendelkező B2B szakmai alkalmazásokhoz illik; a megengedő profil pedig olyan belső eszközök számára fenntartott, amelyeket szakértők kezelnek, akik tisztában vannak vele, mit kérdeznek.

# Három küszöbprofil
PROFILES = {
    "strict": {
        # Fogyasztói alkalmazás, gyerekek is jelen lehetnek
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B szakmai alkalmazás
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Belső eszköz szakértők számára
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Hasonlítsd össze a health oszlopot a profilok között: 0,2, majd 0,4, végül 0,7. Ugyanazt a dózisról szóló beszélgetést az első esetben blokkolja a rendszer, az utolsóban pedig elfogadja. A használati kontextus dönt, nem a szöveg természete.

Többszintű osztályozási rendszer

A blokkolás vagy elfogadás bináris szemlélete leegyszerűsíti a valóságot. A nyilvánvalóan biztonságos és a nyilvánvalóan szabályszegő tartalom között van egy szürke zóna, ahol a helyes döntés a megjelenítés figyelmeztetéssel kombinálva. Az alábbi függvény bevezeti ezt a harmadik állapotot: a küszöbérték felett blokkolj; a küszöbérték 60%-a felett figyelmeztess és naplózz; ez alatt pedig engedd át.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Zöld: biztonságos tartalom
    WARNING = "warning"    # Narancs: figyelendő tartalom
    BLOCKED = "blocked"    # Piros: blokkolt tartalom

def classify_content(scores: dict, thresholds: dict) -> dict:
    """A tartalmat 3 kockázati szintre osztályozza."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Figyelmeztetési zóna: a küszöbérték 60%-a
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

A narancs zóna értéke ugyanolyan operatív, mint edukatív: megmutatja, mi súrolja a küszöbértékeidet. Ha egy kategória sok figyelmeztetést generál anélkül, hogy valaha is átlépné a határt, tudni fogod, hogy néhány századnyi módosítás jelentős forgalmi mennyiséget mozdítana el.

Gyakorlati példa: Elemzés és döntés

Az egész folyamat egyetlen függvényre redukálódik: hívd meg az osztályozót, alkalmazd a profilt, hozd meg a döntést. Az alábbi összehasonlítás demonstrációként szolgál – egy paracetamol-adagolást a szigorú profilban a health kategória miatt blokkol, a megengedő profilban pedig elfogad, anélkül, hogy egyetlen sor szöveg is megváltozna.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderálja a szöveget, és a profil alapján döntést hoz."""
    # Hívás a moderációs API-ra
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Profil küszöbértékeinek alkalmazása
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Tesztelés különböző profilokkal
text = "Take 2 paracetamol tablets every 6 hours"

# Szigorú profil: valószínűleg blokkolva (health)
result_strict = moderate_and_decide(text, "strict")

# Megengedő profil: valószínűleg elfogadva
result_permissive = moderate_and_decide(text, "permissive")

A küszöbértékek dinamikus hangolása

Éles környezetben a küszöbértékeidnek evolúcióra van szükségük, és ezt az evolúciót adatokkal irányítod. Az alábbi monitor minden döntést egy JSONL fájlba ír, és kategóriánként számlálókat vezet a blokkolásokról, figyelmeztetésekről és az áthaladásokról. Az így kapott jelentés kategóriánkénti blokkolási rátát ad – ez az egyetlen metrika, amely megmutatja, ha egy küszöbérték túl alacsony.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Moderációs metrikákat gyűjt a küszöbértékek hangolásához."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Naplóz egy moderációs döntést."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Számlálók frissítése
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Jelentést generál a küszöbértékek hangolásához."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Kerülendő csapdák

Az első csapda, ha egyetlen küszöbértéket alkalmazol minden kategóriára. Minden kategóriának megvan a maga pontszámeloszlása: a 0,3-as küszöbérték a hate_and_discrimination esetén nem jelent ugyanazt, mint a health esetén, ahol a legitim tartalmak természetesen magasabb értékeken helyezkednek el a skálán. Hangold be egyesével minden kategóriát, még akkor is, ha ez tizenegy döntés meghozatalát jelenti egy helyett.

A második a téves riasztások figyelmen kívül hagyása. A magas blokkolási ráta sokkal gyorsabban erodálja a felhasználói bizalmat, mint egy elszigetelt incidens, mert jóhiszeműen cselekvő embereket érint. Kövesd nyomon a blokkolási rátát kategóriánként, és emeld a küszöbértékeket, ha az adatok ezt indokolják.

A harmadik, alattomosabb hiba a döntések naplózásának elmulasztása. Naplók nélkül nem tudod informált módon hangolni a küszöbértékeidet, és visszatérsz a véleményalapú vitákhoz. Rendszeresen rögzítsd a pontszámokat, az alkalmazott küszöbértékeket és a meghozott döntéseket – ez a korpusz teszi majd gyorszá és vitathatatlanná a következő revíziót.

Főbb megállapítások

  • A pontszámok 0,0 és 1,0 között mozognak; nem kalibrált valószínűségek, és a Mistral arra ösztönöz, hogy állítsd be a saját küszöbértékeidet
  • Határozz meg a kontextusodhoz igazított küszöbprofilokat (szigorú, kiegyensúlyozott, megengedő)
  • Implementálj egy 3-szintű rendszert: biztonságos, figyelmeztetés, blokkolt
  • Naplózz minden döntést a küszöbértékeid folyamatos hangolásához
  • Minden kategória saját küszöbértéket igényel – nincs egyetlen mindenre jó érték