11 modereerimiskategooriat
Sellel lehel
Uuendatud 3. novembril 2026. Kategooriate tabelis olid varem loetletud kolm olematut võtit (
hate,violence,unpredictable) ja puudusdangerous. Allpool toodud üksteist võtit peegeldavad mudelitmistral-moderation-2603, tuginedes dokumentatsioonile ja tüüpidele SDKmistralaiversioonis 3.7.0; kirjeldused järgivad Mistrali definitsioone. Väljundväärtused, mida esitati mõõdetud andmetena, olid illustreerivad näited ja on nüüd selgelt kui sellised märgistatud. Allikad: Moderation & Guardrailing · Mistral Moderation 2411 (iganenud mudel).
Riskikategooriate mõistmine
Mistrali modereerimismudel analüüsib sisu 11 erinevas kategoorias. Iga kategooria hõlmab kindlat riskitüüpi ja tagastab sõltumatu skoori vahemikus 0,0 kuni 1,0. On hädavajalik täpselt mõista, mida iga kategooria tuvastab, et saaksid seada asjakohaseid lävendeid. Ilma selle selguseta vaid arvad arve pealt ja imestad, miks sisu ootamatult blokeeritakse.
Allpool olev tabel toob välja iga kategooria täpse API võtme, selle hõlmavuse ja praktilised juhtumid, mida see tuvastab.
| Kategooria | API võti | Mis kuulub Mistrali määratlusse |
|---|---|---|
| Seksuaalne sisu | sexual | Selgelt kirjeldatud või propageeritud seksuaaltegevus, alastus või seksuaalteenused; mitteeksplitsiitne hariduslik või meditsiiniline sisu on üldjuhul lubatud |
| Viha ja diskrimineerimine | hate_and_discrimination | Eelarvamused, vaenulikkus või üleskutsed diskrimineerimisele kaitstud tunnuste põhjal, sealhulgas ahistamine |
| Vägivald ja ähvardused | violence_and_threats | Kirjeldatud, ülistatud, õhutatud või ähvardatud füüsiline vägivald ning juhised selle toimepanemiseks |
| Ohtlik sisu | dangerous | Äärmiselt ohtlik käitumine, millel on suur füüsilise kahju tekitamise risk |
| Kriminaalne tegevus | criminal | Kirjeldatud või propageeritud ebaseaduslik tegevus |
| Enesevigastamine | selfharm | Enesevigastamine, enesetapp, söömishäired: meetodid, ülistamine, kavatsus, ohtlikud väljakutsed |
| Tervis | health | Üksikasjaliku või isikupärase meditsiinilise nõu küsimine või andmine |
| Rahandus | financial | Üksikasjaliku või isikupärase finantsnõu küsimine või andmine |
| Õigus | law | Üksikasjaliku või isikupärase õigusnõu küsimine või andmine |
| Isikuandmed | pii | Identifitseerimisandmete küsimine, jagamine või hankimiskatsed: ees- ja perekonnanimi, aadress, telefoninumber, isikukood, pangarekvisiidid |
| Jailbreak | jailbreaking | Katsed mööda minna mudeli reeglitest kasutades vihje manipuleerimist, rollimängu või muid tehnikaid |
Kategooriad dangerous, criminal ja jailbreaking lisandusid mudeliga mistral-moderation-2603. Eelmine mudel, mistral-moderation-2411, mis tunnistati iganenuks 31. märtsil 2026, liitis kaks esimest ühe võtme dangerous_and_criminal_content alla ja ei tuvastanud jailbreake. Mõned dokumentatsiooni vastusenäited näitavad endiselt seda vanemat jaotust: loe alati API tagastatavaid võtmeid, mitte ära eelda neid.
„Karmid“ vs „pehmed“ kategooriad
Praktikas jagunevad need 11 kategooriat kahte rühma vastavalt kriitilisusele ja see eristus määrab kogu sinu lävendistrateegia.
Karmid kategooriad — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal ja selfharm — tähistavad tõsiseid riske, kus vale negatiivne tulemus (ohtliku sisu tuvastamata jätmine) võib kaasa tuua rasked tagajärjed. Seksuaalne sisu toob kaasa juriidilisi riske ja kohustust kaitsta alaealisi; vihakõne seab sind silmitsi suure mainekahju ja juriidilise vastutusega; vägivald hõlmab õhutamist ja ähvardusi; ohtliku ja kriminaalse sisu kategooriad katavad suure riskiga käitumist ja ebaseaduslikku tegevust; enesevigastamine puudutab kasutaja turvalisust ja eluohtlikke olukordi. Nende kuue kategooria puhul on madalad lävendid 0,1 kuni 0,2 põhjendatud sõltumata sinu tootest ja sa võtad teadlikult vastu mõned valed positiivsed tulemused.
Pehmed kategooriad sõltuvad tugevalt sinu rakenduse kontekstist, nende kohandatavad lävendid jäävad vahemikku 0,3 kuni 0,8. Legitiimsel meditsiinilisel vestlusrobotil on vaja arutada teemat health, fintech-rakendus nõuab vestlusi, mida hõlmab financial, õigusabi assistent tegeleb paratamatult teemaga law ja mõned rakendused koguvad seaduslikult andmeid, mis kuuluvad kategooriasse pii. Üks juhtum erineb: jailbreaking ei sõltu teema sisust, vaid kavatsusest mudelit manipuleerida, ja jääb kriitiliseks iga avalikkusele avatud rakenduse jaoks.
Skooride analüüsimine Pythonis
Järgnev funktsioon teisendab toore API päringu loetavaks otsuseks: see eraldab kategooriad, mille skoor ületab 0,3, tuvastab maksimaalse skoori ja selle kategooria ning tagastab indikaatori safe, mida saad otse oma rakenduse loogikas kasutada.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analüüsi teksti ja tagasta riskikategooriad."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Eralda riskikategooriad
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores on SDK-s valikuline, seetõttu or {}. Käivita mõlemad näited oma kontol: tervitus peaks jääma kõikjal väga madalaks, samas kui annuse küsimus peaks tõusma kategoorias health. See ei ole „ohtlik“ sisu tavapärases mõttes – see on sisu, mille puhul pead otsustama, kas see kuulub sinu vastutusvaldkonda.
Mitu kategooriat: üks tekst võib käivitada mitu hoiatust
Üksainus tekst võib samaaegselt saada kõrgeid skoore mitmes kategoorias – näiteks maksupettusega seotud abi palumine tabab korraga kategooriaid criminal, financial ja law. Sinu otsustusloogika peab arvestama selle mitmekordsusega ja ennekõike seadma prioriteete: allpool olev funktsioon sorteerib rikkumised lävendi ületamise suuruse järgi, öeldes sulle, milline kategooria tegelikult blokeerimise põhjustas.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Hinda globaalset riski, võttes arvesse kõiki kategooriaid."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Konfiguratsioon profiili järgi
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profiil strict_thresholds järgib täpselt eespool kirjeldatud karmide ja pehmete kategooriate loogikat: lävendid 0,1 kuni 0,15 kuuele kriitilisele kategooriale ja jailbreakile, tolerants 0,3 kontekstipõhistele domeenidele. Hoia seda struktuuri oma lähtepunktina ja dokumenteeri kõik kõrvalekalded, mida sisse tood.
Peamised punktid
mistral-moderation-2603analüüsib sisu 11 kategoorias fikseeritud võtmetega;hate,violencevõiunpredictableei eksisteeri- Iga kategooria tagastab skoori vahemikus 0,0 kuni 1,0
- „Karmid“ kategooriad (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) nõuavad madalaid lävendeid - „Pehmed“ kategooriad (health, financial, law) kohanduvad vastavalt sinu rakenduse kontekstile
- Üks tekst võib samaaegselt käivitada mitu kategooriat
- Kasuta tooreid skoore (
category_scores) vaikimisi booleväärtuste asemel