Ugrás a főtartalomra
Magyar— Nyelv kiválasztása
Menü

A Mistral Moderációs API-ja

5. lecke 12 közül Frissítve 2026. november 3. Fejlesztő
Ezen az oldalon
  1. Tartalom osztályozása generálás után
  2. A Mistral Moderation 2 modell
  3. A /v1/moderations végpont
  4. Válaszstruktúra
  5. Több szöveg batch moderálása
  6. Guardrailek vs. Moderációs API: mikor mit használj
  7. Példa: teljes folyamat
  8. Főbb megállapítások

Frissítve: 2026. november 3. A korábbi válaszpélda nem létező kulcsokat (hate, violence, unpredictable) tartalmazott; ez most a mistral-moderation-2603 tizenegy kategóriáját tükrözi. A végső folyamat korábban egy kitalált guardrail formátumot (enabled) használt, és a blokkolást a hibaüzenetben szereplő „403“ keresésével észlelte: most a hivatalos formátumot követi, és az e.status_code értékét ellenőrzi. A modell bemutatása megfelel a hivatalos adatlapjának, és a lecke bemutatja a Shieldstral 1.0-t, a 2026 augusztusa óta nyilvános előzetes verzióban elérhető moderációs modellt. A kód ellenőrizve a mistralai SDK 3.7.0-s verziójának típusai alapján. Források: Moderáció és Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.

Tartalom osztályozása generálás után

A guardrailek szűrik a bemeneti promptokat. De mi a helyzet a modell által generált tartalommal? Egy ártatlan prompt is problémás választ eredményezhet: egy általános iskolás második világháborúról szóló kérdése olyan leírást szülhet, amelyet nem szeretnél figyelmeztetés nélkül megjeleníteni. Itt jön képbe a Moderációs API: utólag elemzi a tartalmat, és kategóriánként kockázati pontszámokat rendel hozzá.

A Moderációs API a második védelmi vonalad – kiegészíti a guardraileket, hogy teljes biztonsági architektúrát hozzon létre, egy nagy különbséggel: önmagában nem blokkol semmit, csupán tájékoztat.

A Mistral Moderation 2 modell

A dedikált moderációs modell neve mistral-moderation-2603 (Mistral Moderation 2, 2026. márciusi verzió). Ez egy specializált osztályozó, amely eltér a generáló modellektől: nem szöveget ír, hanem pontszámokat rendel. Hivatalos adatlapja kiemeli a 128 000 tokenes kontextusablakot, a jailbreak-észlelést és a kiváló teljesítményt a komplex, többnyelvű tartalmakon, beleértve a hosszú beszélgetéseket is. Leváltotta a mistral-moderation-2411 modellt, amelyet 2026. március 31-én vezettek ki.

Minden szöveget 11 kategória szerint értékel, kategóriánként 0,0 és 1,0 közötti pontszámmal. Két bemeneti módot fogad el: egyszerű szöveget vagy beszélgetés alapút, és a választás jobban befolyásolja az eredmény minőségét, mint gondolnád.

  1. augusztus 4. óta létezik egy második moderációs modell is nyilvános előzetes verzióban: a Shieldstral 1.0. Másképp működik: kompakt (3,8 milliárd paraméter) és multimodális, természetes nyelven megfogalmazott szabályzati kérdések alapján osztályozza a szöveget és a képeket, igen/nem választ adva. Súlyai Apache 2.0 licenc alatt érhetők el, lehetővé téve az önálló hosztolást. Amíg előzetes verzióban marad, addig a mistral-moderation-2603 marad a produkciós modell, és ezt használják a guardrailekhez is.

A /v1/moderations végpont

Az egyszerű szöveges mód a legegyszerűbb: egy vagy több osztályozandó szöveget küldesz, további kontextus nélkül.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Egyszerű szöveg moderálása
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Moderálásra váró szöveg"]
)

# Eredmények elérése
for result in response.results:
    print(f"Kategóriák: {result.categories}")
    print(f"Pontszámok: {result.category_scores}")

A teljes beszélgetések, azaz a prompt és a válasz együttes moderálásához a beszélgetés alapú mód adja meg az osztályozónak azt, ami hiányzott: a diskurzus fonalát.

# Teljes beszélgetés moderálása
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "Hogyan kezeljem a fejfájást?"},
            {"role": "assistant", "content": "Vegyél be 1g paracetamolt..."}
        ]
    ]
)

# Az osztályozó a teljes kontextust értékeli
for result in response.results:
    print(f"Egészségügyi pontszám: {(result.category_scores or {}).get('health', 0)}")

A beszélgetés alapú mód, amely a /v1/chat/moderations végpontot hívja meg, az, amit a Mistral ajánl egy párbeszédhez: a modellt arra tanították, hogy a beszélgetés utolsó fordulóját osztályozza az előzmények fényében. Ha az asszisztens válaszát akarod moderálni, tedd azt utolsó helyre. A példában szereplő listák listája lehetővé teszi több beszélgetés egyszeri elküldését; egyetlen beszélgetéshez elég egy egyszerű üzenetlista. Így ugyanaz a szöveg eltérő pontszámot kaphat attól függően, hogy egy legitim vagy rosszindulatú kérdésre válaszol-e – egy tájékoztatáskérésre adott válaszban szereplő dózisnak nincs ugyanolyan státusza, mint annak a dózisnak, amelyet egy kockázatos öngyógyításról szóló beszélgetésbe csempésztek be.

Válaszstruktúra

Minden elemzett szöveghez a válasz két párhuzamos blokkot tartalmaz: a categories blokkot, amely boolean értékeket ad vissza (a Mistral által a belső teszt készlete alapján meghatározott küszöbértékekkel számítva), és a category_scores blokkot, amely a 0,0 és 1,0 közötti nyers pontszámokat tartalmazza. Az alábbi példa illusztratív, kerekített értékekkel; egyes dokumentációs példák még a régi modell kilenc kategóriáját mutatják, ahol a dangerous_and_criminal_content egyesítette a dangerous és a criminal kategóriákat. Te az utóbbit fogod használni, mert ezek lehetővé teszik, hogy te határozd meg a saját határaidat.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

Ebben a példában csak a health van true-ra állítva, 0,72-es értékkel. Egy fogyasztóknak szánt asszisztens ezt blokkolási jelzésnek venné; egy gyógyszerészeknek szánt eszköz habozás nélkül átengedné. Ugyanaz a pontszám, két ellentétes döntés, és pontosan ezért dolgozol pontszámokkal, nem boolean értékekkel.

Több szöveg batch moderálása

Az API egyetlen kérésben több szöveget is elfogad, ami mindent megváltoztat a kötegelt feldolgozás szempontjából: egy beszélgetési előzmény vagy egy komment-adatbázis utólagos elemzése így hívásszám szempontjából is ésszerű műveletté válik.

# Több szöveg moderálása egyetlen kérésben
texts = [
    "Első elemzendő szöveg",
    "Második elemzendő szöveg",
    "Harmadik elemzendő szöveg"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Minden szövegnek saját eredménye van
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"{i+1}. szöveg: max pontszám = {max_score:.2f} ({max_cat})")

Guardrailek vs. Moderációs API: mikor mit használj

SzempontEgyéni GuardrailekModerációs API
IdőzítésGenerálás ELŐTTGenerálás UTÁN
MűveletAutomatikus blokkolás (403)Pontszámok visszaadása (te döntesz)
IrányításSaját küszöbértékek kategóriánként, a Mistral alkalmazzaNyers pontszámok, szabad logika
HívásA generálási kérés paramétereKülön hívás a /v1/moderations végpontra
Használati esetVeszélyes promptok szűréseVálaszok osztályozása

Példa: teljes folyamat

Az alábbi folyamat bemutatja a két mechanizmus szekvenciálását. A generálást egy jailbreak-re fókuszáló guardrail védi; a választ ezután a kérdéssel együtt osztályozzuk, és egyéni döntés születik, amint egy pontszám meghaladja az 0,5-öt. Figyeld meg, hogy a két lépés eltérő státuszokat ad vissza – blocked_input és blocked_output –, így a naplóid egyértelműen jelzik, hol állt meg a kérés.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Folyamat guardrailekkel (bemenet) és moderációval (kimenet)."""
    # 1. lépés: generálás guardrailekkel
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # 2. lépés: a kimenet moderálása a kérdés kontextusában
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Főbb megállapítások

  • A Moderációs API a mistral-moderation-2603 modellt használja a tartalom osztályozására
  • Két mód elérhető: egyszerű szöveg és beszélgetés alapú
  • A pontszámok 0,0 és 1,0 között mozognak – te határozod meg a saját döntési küszöbértékeidet
  • A beszélgetés alapú mód pontosabb, mert figyelembe veszi a kontextust
  • Kombináld a guardraileket (bemenet) és a moderációt (kimenet) a mélységi védelem érdekében