A Mistral Moderációs API-ja
Ezen az oldalon
Frissítve: 2026. november 3. A korábbi válaszpélda nem létező kulcsokat (
hate,violence,unpredictable) tartalmazott; ez most amistral-moderation-2603tizenegy kategóriáját tükrözi. A végső folyamat korábban egy kitalált guardrail formátumot (enabled) használt, és a blokkolást a hibaüzenetben szereplő „403“ keresésével észlelte: most a hivatalos formátumot követi, és aze.status_codeértékét ellenőrzi. A modell bemutatása megfelel a hivatalos adatlapjának, és a lecke bemutatja a Shieldstral 1.0-t, a 2026 augusztusa óta nyilvános előzetes verzióban elérhető moderációs modellt. A kód ellenőrizve amistralaiSDK 3.7.0-s verziójának típusai alapján. Források: Moderáció és Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.
Tartalom osztályozása generálás után
A guardrailek szűrik a bemeneti promptokat. De mi a helyzet a modell által generált tartalommal? Egy ártatlan prompt is problémás választ eredményezhet: egy általános iskolás második világháborúról szóló kérdése olyan leírást szülhet, amelyet nem szeretnél figyelmeztetés nélkül megjeleníteni. Itt jön képbe a Moderációs API: utólag elemzi a tartalmat, és kategóriánként kockázati pontszámokat rendel hozzá.
A Moderációs API a második védelmi vonalad – kiegészíti a guardraileket, hogy teljes biztonsági architektúrát hozzon létre, egy nagy különbséggel: önmagában nem blokkol semmit, csupán tájékoztat.
A Mistral Moderation 2 modell
A dedikált moderációs modell neve mistral-moderation-2603 (Mistral Moderation 2, 2026. márciusi verzió). Ez egy specializált osztályozó, amely eltér a generáló modellektől: nem szöveget ír, hanem pontszámokat rendel. Hivatalos adatlapja kiemeli a 128 000 tokenes kontextusablakot, a jailbreak-észlelést és a kiváló teljesítményt a komplex, többnyelvű tartalmakon, beleértve a hosszú beszélgetéseket is. Leváltotta a mistral-moderation-2411 modellt, amelyet 2026. március 31-én vezettek ki.
Minden szöveget 11 kategória szerint értékel, kategóriánként 0,0 és 1,0 közötti pontszámmal. Két bemeneti módot fogad el: egyszerű szöveget vagy beszélgetés alapút, és a választás jobban befolyásolja az eredmény minőségét, mint gondolnád.
- augusztus 4. óta létezik egy második moderációs modell is nyilvános előzetes verzióban: a Shieldstral 1.0. Másképp működik: kompakt (3,8 milliárd paraméter) és multimodális, természetes nyelven megfogalmazott szabályzati kérdések alapján osztályozza a szöveget és a képeket, igen/nem választ adva. Súlyai Apache 2.0 licenc alatt érhetők el, lehetővé téve az önálló hosztolást. Amíg előzetes verzióban marad, addig a
mistral-moderation-2603marad a produkciós modell, és ezt használják a guardrailekhez is.
A /v1/moderations végpont
Az egyszerű szöveges mód a legegyszerűbb: egy vagy több osztályozandó szöveget küldesz, további kontextus nélkül.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Egyszerű szöveg moderálása
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Moderálásra váró szöveg"]
)
# Eredmények elérése
for result in response.results:
print(f"Kategóriák: {result.categories}")
print(f"Pontszámok: {result.category_scores}")
A teljes beszélgetések, azaz a prompt és a válasz együttes moderálásához a beszélgetés alapú mód adja meg az osztályozónak azt, ami hiányzott: a diskurzus fonalát.
# Teljes beszélgetés moderálása
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "Hogyan kezeljem a fejfájást?"},
{"role": "assistant", "content": "Vegyél be 1g paracetamolt..."}
]
]
)
# Az osztályozó a teljes kontextust értékeli
for result in response.results:
print(f"Egészségügyi pontszám: {(result.category_scores or {}).get('health', 0)}")
A beszélgetés alapú mód, amely a /v1/chat/moderations végpontot hívja meg, az, amit a Mistral ajánl egy párbeszédhez: a modellt arra tanították, hogy a beszélgetés utolsó fordulóját osztályozza az előzmények fényében. Ha az asszisztens válaszát akarod moderálni, tedd azt utolsó helyre. A példában szereplő listák listája lehetővé teszi több beszélgetés egyszeri elküldését; egyetlen beszélgetéshez elég egy egyszerű üzenetlista. Így ugyanaz a szöveg eltérő pontszámot kaphat attól függően, hogy egy legitim vagy rosszindulatú kérdésre válaszol-e – egy tájékoztatáskérésre adott válaszban szereplő dózisnak nincs ugyanolyan státusza, mint annak a dózisnak, amelyet egy kockázatos öngyógyításról szóló beszélgetésbe csempésztek be.
Válaszstruktúra
Minden elemzett szöveghez a válasz két párhuzamos blokkot tartalmaz: a categories blokkot, amely boolean értékeket ad vissza (a Mistral által a belső teszt készlete alapján meghatározott küszöbértékekkel számítva), és a category_scores blokkot, amely a 0,0 és 1,0 közötti nyers pontszámokat tartalmazza. Az alábbi példa illusztratív, kerekített értékekkel; egyes dokumentációs példák még a régi modell kilenc kategóriáját mutatják, ahol a dangerous_and_criminal_content egyesítette a dangerous és a criminal kategóriákat. Te az utóbbit fogod használni, mert ezek lehetővé teszik, hogy te határozd meg a saját határaidat.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
Ebben a példában csak a health van true-ra állítva, 0,72-es értékkel. Egy fogyasztóknak szánt asszisztens ezt blokkolási jelzésnek venné; egy gyógyszerészeknek szánt eszköz habozás nélkül átengedné. Ugyanaz a pontszám, két ellentétes döntés, és pontosan ezért dolgozol pontszámokkal, nem boolean értékekkel.
Több szöveg batch moderálása
Az API egyetlen kérésben több szöveget is elfogad, ami mindent megváltoztat a kötegelt feldolgozás szempontjából: egy beszélgetési előzmény vagy egy komment-adatbázis utólagos elemzése így hívásszám szempontjából is ésszerű műveletté válik.
# Több szöveg moderálása egyetlen kérésben
texts = [
"Első elemzendő szöveg",
"Második elemzendő szöveg",
"Harmadik elemzendő szöveg"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Minden szövegnek saját eredménye van
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"{i+1}. szöveg: max pontszám = {max_score:.2f} ({max_cat})")
Guardrailek vs. Moderációs API: mikor mit használj
| Szempont | Egyéni Guardrailek | Moderációs API |
|---|---|---|
| Időzítés | Generálás ELŐTT | Generálás UTÁN |
| Művelet | Automatikus blokkolás (403) | Pontszámok visszaadása (te döntesz) |
| Irányítás | Saját küszöbértékek kategóriánként, a Mistral alkalmazza | Nyers pontszámok, szabad logika |
| Hívás | A generálási kérés paramétere | Külön hívás a /v1/moderations végpontra |
| Használati eset | Veszélyes promptok szűrése | Válaszok osztályozása |
Példa: teljes folyamat
Az alábbi folyamat bemutatja a két mechanizmus szekvenciálását. A generálást egy jailbreak-re fókuszáló guardrail védi; a választ ezután a kérdéssel együtt osztályozzuk, és egyéni döntés születik, amint egy pontszám meghaladja az 0,5-öt. Figyeld meg, hogy a két lépés eltérő státuszokat ad vissza – blocked_input és blocked_output –, így a naplóid egyértelműen jelzik, hol állt meg a kérés.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Folyamat guardrailekkel (bemenet) és moderációval (kimenet)."""
# 1. lépés: generálás guardrailekkel
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# 2. lépés: a kimenet moderálása a kérdés kontextusában
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Főbb megállapítások
- A Moderációs API a
mistral-moderation-2603modellt használja a tartalom osztályozására - Két mód elérhető: egyszerű szöveg és beszélgetés alapú
- A pontszámok 0,0 és 1,0 között mozognak – te határozod meg a saját döntési küszöbértékeidet
- A beszélgetés alapú mód pontosabb, mert figyelembe veszi a kontextust
- Kombináld a guardraileket (bemenet) és a moderációt (kimenet) a mélységi védelem érdekében