11 kategorij moderiranja
Na tej strani
Posodobljeno 3. novembra 2026. Tabela kategorij je prej navajala tri neobstoječe ključe (
hate,violence,unpredictable) in izpuščaladangerous. Enajst spodnjih ključev odraža modelmistral-moderation-2603, temelji na dokumentaciji in tipih iz SDK-jamistralairazličice 3.7.0; opisi sledijo Mistralovim definicijam. Predstavljene izhodne vrednosti kot izmerjeni podatki so bili ilustrativni primeri in so zdaj jasno označeni kot taki. Viri: Moderation & Guardrailing · Mistral Moderation 2411 (opuščen model).
Razumevanje kategorij tveganja
Model Mistral Moderation analizira vsebino skozi 11 različnih kategorij. Vsaka kategorija zajema specifično vrsto tveganja in vrne neodvisno oceno med 0,0 in 1,0. Natančno razumevanje tega, kaj vsaka kategorija zazna, je ključno za določanje smiselnih pragov. Brez te jasnosti le ugibaš številke in se sprašuješ, zakaj je bila vsebina nepričakovano blokirana.
Spodnja tabela navaja točen ključ API-ja za vsako kategorijo, kaj zajema in kakšne vrste primerov zazna v praksi.
| Kategorija | Ključ API-ja | Kaj Mistral vključuje |
|---|---|---|
| Spolna vsebina | sexual | Izrecno opisane ali promovirane spolne dejavnosti, golota ali spolne storitve; neizrecna izobraževalna ali medicinska vsebina je običajno izvzeta |
| Sovraštvo in diskriminacija | hate_and_discrimination | Predsodki, sovražnost ali pozivi k diskriminaciji na podlagi zaščitenih značilnosti, vključno z nadlegovanjem |
| Nasilje in grožnje | violence_and_threats | Opisano, poveličevano, spodbujano ali groženo fizično nasilje ter navodila za njegovo izvršitev |
| Nevarna vsebina | dangerous | Izjemno nevarna vedenja z visokim tveganjem za fizično škodo |
| Kazniva dejanja | criminal | Opisane ali promovirane nezakonite dejavnosti |
| Samopoškodovanje | selfharm | Samopoškodovanje, samomor, motnje hranjenja: metode, poveličevanje, namen, nevarni izzivi |
| Zdravje | health | Zahteve po ali zagotavljanje podrobnih ali personaliziranih zdravstvenih nasvetov |
| Finance | financial | Zahteve po ali zagotavljanje podrobnih ali personaliziranih finančnih nasvetov |
| Pravo | law | Zahteve po ali zagotavljanje podrobnih ali personaliziranih pravnih nasvetov |
| Osebni podatki | pii | Zahteve, deljenje ali poskusi pridobitve identifikacijskih podatkov: polno ime, naslov, telefonska številka, davčna številka, bančni podatki |
| Preboj zaščite | jailbreaking | Poskusi obida pravil modela prek manipulacije pozivov, igranja vlog ali drugih tehnik |
Kategoriji dangerous, criminal in jailbreaking sta se pojavili z modelom mistral-moderation-2603. Prejšnji model, mistral-moderation-2411, opuščen 31. marca 2026, je prvi dve združeval pod enim ključem, dangerous_and_criminal_content, in ni zaznaval prebojev zaščite (jailbreak). Nekateri primeri odgovorov v dokumentaciji še vedno prikazujejo to starejšo razčlenitev: vedno preberi ključe, ki jih vrne API, namesto da bi jih predpostavljal.
„Trde” proti „mehkim” kategorijam
V praksi se teh 11 kategorij deli v dve skupini glede na kritičnost, in ta razlika poganja tvojo celotno strategijo pragov.
Trde kategorije — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal in selfharm — predstavljajo resna tveganja, kjer ima lažno negativen rezultat (neuspeh pri zaznavi nevarne vsebine) lahko hude posledice. Spolna vsebina prinaša pravna tveganja in obveznosti zaščite mladoletnikov; govor sovraštva te izpostavlja veliki škodi za ugled in pravni odgovornosti; nasilje vključuje spodbujanje in grožnje; kategoriji nevarno in kaznivo zajemata visokorizična vedenja in nezakonite dejavnosti; samopoškodovanje vključuje varnost uporabnikov in življenjsko ogrožajoče situacije. Za teh šest kategorij so nizki pragovi od 0,1 do 0,2 upravičeni ne glede na tvoj izdelek in namerno sprejemaš nekaj lažno pozitivnih rezultatov.
Mehke kategorije so močno odvisne od konteksta tvoje aplikacije, s prilagodljivimi pragovi med 0,3 in 0,8. Legitimen medicinski klepetalni bot mora razpravljati o health, fintech aplikacija zahteva pogovore, zajete v financial, pravni pomočnik nujno obravnava law, nekatere aplikacije pa zakonito zbirajo podatke, ki spadajo pod pii. En primer se bere drugače: jailbreaking ni odvisen od predmeta, temveč od namena manipulacije z modelom in ostaja kritičen za vsako aplikacijo, odprto za javnost.
Analiza ocen v Pythonu
Naslednja funkcija pretvori surov klic API-ja v berljivo sodbo: izolira kategorije, ki presegajo 0,3, identificira največjo oceno in njeno kategorijo ter vrne indikator safe, ki ga lahko neposredno uporabiš v logiki svoje aplikacije.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analiziraj besedilo in vrni kategorije tveganja."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Loči kategorije tveganja
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores je v SDK-ju opcijski, zato or {}. Zaženi oba primera na svojem računu: pozdrav bi moral ostati zelo nizek povsod, medtem ko bi vprašanje o odmerku moralo poskočiti pri health. To ni „nevarna” vsebina v splošnem smislu – to je vsebina, za katero se moraš sam odločiti, ali spada v tvoje področje.
Več kategorij: Eno besedilo lahko sproži več opozoril
Eno samo besedilo ima lahko visoke ocene v več kategorijah hkrati – zahteva po pomoči pri davčni goljufiji bo hkrati zadela criminal, financial in law. Tvoja odločitvena logika mora upoštevati to večplastnost in predvsem določiti prioritete: spodnja funkcija razvrsti kršitve glede na velikost presega praga in ti pove, katera kategorija je dejansko povzročila blokado.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Ocenite globalno tveganje ob upoštevanju vseh kategorij."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Konfiguracija po profilu
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profil strict_thresholds natančno sledi zgornji logiki trdih in mehkih kategorij: pragovi od 0,1 do 0,15 za šest kritičnih kategorij in preboj zaščite, toleranca pri 0,3 za kontekstualna področja. To strukturo obdrži kot izhodišče in dokumentiraj vsa odstopanja, ki jih uvedeš.
Ključne ugotovitve
mistral-moderation-2603analizira vsebino skozi 11 kategorij s fiksnimi ključi;hate,violencealiunpredictablene obstajajo- Vsaka kategorija vrne oceno od 0,0 do 1,0
- „Trde” kategorije (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) zahtevajo nizke pragove - „Mehke” kategorije (health, financial, law) se prilagajajo glede na kontekst tvoje aplikacije
- Eno besedilo lahko hkrati sproži več kategorij
- Uporabi surove ocene (
category_scores) namesto privzetih boolovih vrednosti