Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

Határozd meg a tartalmi szabályzatodat

9. lecke 12 közül Frissítve 2026. július 29. Fejlesztő
Ezen az oldalon
  1. Miért van szükséged hivatalos tartalmi szabályzatra?
  2. A küszöbértékek igazítása az alkalmazás kontextusához
  3. A szabályzat dokumentumként való formalizálása
  4. Több alkalmazás kezelése
  5. Felülvizsgálat és frissítések
  6. Főbb megállapítások

Frissítve: 2026. november 3. A korábbi szabályzatok három nem létező kategóriát (hate, violence, unpredictable) használtak, és kihagyták a dangerous kategóriát. Most már összhangban vannak a mistral-moderation-2603 tizenegy kulcsával. Egy új módszer lehetővé teszi a szabályzat hivatalos guardrails paraméterformátummá alakítását, biztosítva, hogy a generálás előtt egységes küszöbértékek érvényesüljenek. Források: Moderation & Guardrailing · mistralai SDK 3.7.0.

Miért van szükséged hivatalos tartalmi szabályzatra?

A moderációs küszöbértékek nem önkényes technikai döntések. Egy tartalmi szabályzatot tükröznek – ez a szabályok összessége határozza meg, hogy az alkalmazásod mit engedélyez és mit tilt. Hivatalos szabályzat nélkül minden fejlesztő saját belátása szerint dönt, és a biztonsági rendszer elveszíti az egységességét: ugyanazon a vállalaton belül két szolgáltatás eltérő tartalmakat blokkol, anélkül hogy bárki tudná, miért.

Egy írott szabályzat segítségével indokolni tudod a moderációs döntéseidet mind a felhasználók, mind a szabályozó hatóságok felé, harmonizálod a küszöbértékeket a csapatok és alkalmazások között, auditálod a rendszer megfelelőségét, és strukturált módon iterálsz, ahogy az igények változnak. Amikor egy felhasználó vitat egy blokkolást, hatalmas különbség van aközött, hogy „a küszöbérték 0,1-re van állítva“, illetve hogy „a Nyilvános Szabályzatunk 1.2-es verziója ezért az okból állítja be ezt a küszöbértéket“.

A küszöbértékek igazítása az alkalmazás kontextusához

Ugyanaz a tartalom egyik kontextusban elfogadható, másikban veszélyes lehet. A szabályzatodnak tükröznie kell ezeket az árnyalatokat. Ennek legjobb módja, ha minden profilt névvel, dátummal és dokumentációval ellátott objektumként írsz le, nem pedig névtelen szótárként, amely elveszik a kódban.

Egy nyilvános chatbot esetén a szabály egyszerű: mindenhol szigorú, a biztonság az első. Nem tudsz semmit a másik oldalon lévő személyről, és kiskorúak is jelen lehetnek.

# Szabályzat: Mindenben szigorú, első a biztonság
POLICY_PUBLIC = {
    "name": "Public-Facing",
    "description": "Mindenki, beleértve a kiskorúakat is, hozzáférhet",
    "thresholds": {
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "block_action": "generic_message",
    "logging": "full"
}

Egy belső asszisztens esetén egy ponton megváltozik a helyzet: a felhasználók hitelesítettek, azonosíthatók és felelősségre vonhatók. Ez rugalmasabb küszöbértékeket tesz lehetővé, különösen a financial és law kategóriákban, amelyeket 0,6-ra állítunk, mivel egy alkalmazott, aki szerkezeti kérdésekben kérdezi az asszisztenst, egyszerűen csak végzi a munkáját.

# Szabályzat: Kiegyensúlyozott, azonosított felhasználók
POLICY_INTERNAL = {
    "name": "Internal B2B",
    "description": "Hitelesített alkalmazottak asszisztense",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.3,
        "dangerous": 0.2,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.5,
        "financial": 0.6,
        "law": 0.6,
        "pii": 0.3,
        "jailbreaking": 0.15,
    },
    "block_action": "detailed_message",
    "logging": "full"
}

Egy specializált eszköz – orvosi, jogi vagy pénzügyi – ezt a logikát a végletekig viszi: a saját területén nagyon megengedő, minden máshol szigorú. Az orvosi példában a health érték 0,85-re nő, mert a diagnózisok megvitatása pontosan az eszköz feladata, míg a pii 0,15-re csökken, mivel a betegadatok soha nem keringhetnek szabadon. Itt két, a korábbi szabályzatokból hiányzó elemet is hozzáadunk: egy átirányítással járó blokkolási módot és egy kifejezett felelősségkizáró nyilatkozatot.

# Szabályzat: Megengedő a szakterületen, szigorú máshol
POLICY_MEDICAL = {
    "name": "Medical Assistant",
    "description": "Eszköz egészségügyi szakemberek számára",
    "thresholds": {
        "sexual": 0.2,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.3,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.3,
        "health": 0.85,    # Nagyon megengedő: legitim szakterület
        "financial": 0.3,
        "law": 0.4,
        "pii": 0.15,       # Szigorú: betegadatok
        "jailbreaking": 0.1,
    },
    "block_action": "detailed_message_with_redirect",
    "logging": "full_with_audit",
    "disclaimer": "Ez az eszköz nem helyettesíti az orvosi tanácsadást."
}

A szabályzat dokumentumként való formalizálása

A tartalmi szabályzatodnak egy verziókezelt, minden csapat számára hozzáférhető dokumentumnak kell lennie. Pythonban ez egy olyan osztályt jelent, amely a küszöbértékek mellett tartalmazza a verziószámot és a felülvizsgálat dátumát, képes kiértékelni a pontszámokat, és generálni a deklarált módnak megfelelő blokkoló üzenetet.

from mistralai.client.models import GuardrailConfigTypedDict


class ContentPolicy:
    """A tartalmi szabályzat strukturált reprezentációja."""

    def __init__(self, config: dict):
        self.name = config["name"]
        self.description = config["description"]
        self.thresholds = config["thresholds"]
        self.block_action = config["block_action"]
        self.logging = config["logging"]
        self.version = config.get("version", "1.0.0")
        self.revision_date = config.get("revision_date", "2026-04-01")

    def evaluate(self, scores: dict) -> dict:
        """Kiértékeli a pontszámokat a szabályzat alapján."""
        violations = []
        for cat, threshold in self.thresholds.items():
            score = scores.get(cat, 0)
            if score > threshold:
                violations.append({
                    "category": cat,
                    "score": round(score, 3),
                    "threshold": threshold
                })

        return {
            "policy": self.name,
            "version": self.version,
            "allowed": len(violations) == 0,
            "violations": violations
        }

    def block_message(self, violations: list) -> str:
        """Létrehoz egy megfelelő blokkoló üzenetet."""
        if self.block_action == "generic_message":
            return "Ezt a tartalmat nem lehet feldolgozni."
        elif self.block_action == "detailed_message":
            cats = ", ".join(v["category"] for v in violations)
            return (f"A tartalom blokkolva a következő okok miatt: "
                    f"{cats}. Kérjük, fogalmazd át a kérésedet.")
        return "Tartalom blokkolva."

    def to_guardrails(self) -> list[GuardrailConfigTypedDict]:
        """A szabályzatot a Mistral API guardrails paraméterévé alakítja."""
        return [
            {
                "block_on_error": True,
                "moderation_llm_v2": {
                    "custom_category_thresholds": self.thresholds,
                    "ignore_other_categories": False,
                    "action": "block",
                },
            }
        ]

A to_guardrails módszer teszi a szabályzatot a guardrailok egyetlen igazságforrásává: client.chat.complete(..., guardrails=policy.to_guardrails()) vagy client.beta.agents.create(..., guardrails=policy.to_guardrails()). A generálás előtt és után alkalmazott küszöbértékek többé nem térhetnek el.

Vedd észre azt is, hogy az evaluate eredménye tartalmazza az alkalmazott szabályzat nevét és verzióját. Ez a részlet lehetővé teszi, hogy hat hónap múlva, egy vitatott döntést visszajátszva pontosan tudd, melyik rendszer alapján született.

Több alkalmazás kezelése

Ha a vállalatod több alkalmazást kezel, központosítsd a szabályzatkezelést. Az alábbi kezelő két hasznos dolgot csinál: kifejezetten megtagadja a kiszolgálást olyan alkalmazás számára, amelynek nincs deklarált szabályzata, így megelőzi a biztonsági hálók nélküli telepítéseket, valamint megfelelőségi jelentést készít, amely felsorolja az egyes alkalmazások verzióját és utolsó felülvizsgálati dátumát – pontosan azt, amit egy auditor kérni fog.

class PolicyManager:
    """Tartalmi szabályzatok kezelése több alkalmazáshoz."""

    def __init__(self):
        self.policies = {}

    def register(self, app_id: str, policy: ContentPolicy):
        """Regisztrál egy szabályzatot egy alkalmazáshoz."""
        self.policies[app_id] = policy

    def get(self, app_id: str) -> ContentPolicy:
        """Lekéri egy alkalmazás szabályzatát."""
        if app_id not in self.policies:
            raise ValueError(f"Nincs szabályzat ehhez: {app_id}")
        return self.policies[app_id]

    def compliance_report(self) -> dict:
        """Globális megfelelőségi jelentést generál."""
        return {
            app_id: {
                "name": pol.name,
                "version": pol.version,
                "revision_date": pol.revision_date,
                "categories_covered": len(pol.thresholds)
            }
            for app_id, pol in self.policies.items()
        }

# Használat
manager = PolicyManager()
manager.register("chatbot-public",
    ContentPolicy(POLICY_PUBLIC))
manager.register("assistant-medical",
    ContentPolicy(POLICY_MEDICAL))

Felülvizsgálat és frissítések

A szabályzatod nincs kőbe vésve. A leggyakoribb hiba, ha egyszer megírod, majd elfelejted. Állíts fel egy ritmust: minden héten elemezd a naplókban reported hamis pozitív és hamis negatív eseteket; minden hónapban igazítsd a küszöbértékeket a felhalmozott metrikák alapján; minden negyedévben végezz teljes felülvizsgálatot az üzleti, jogi és termékérdekelt felekkel. Ehhez járuljon egy alkupozíció nélküli szabály: minden incidens után végezz utóelemzést (post-mortem), és hajts végre azonnali javítást, anélkül hogy megvárnád a következő ütemezett felülvizsgálatot.

Főbb megállapítások

  • A tartalmi szabályzat a technikai küszöbértékeidet üzleti szabályokká alakítja
  • Igazítsd a küszöbértékeket a kontextushoz: nyilvános, belső, specializált
  • Formalizáld a szabályzatot egy verziókezelt dokumentumban
  • Központosítsd a kezelést, ha több alkalmazásod van
  • Vizsgáld felül rendszeresen – a szabályzatnak együtt kell fejlődnie a termékeddel