L-11 Kategorija ta' Moderazzjoni
F'din il-paġna
Aġġornat fit-3 ta’ Novembru, 2026. It-tabella tal-kategoriji preċedentement elenkat tliet ċwievet li ma jeżistux (
hate,violence,unpredictable) u ħalliet barradangerous. L-ħdax-il ċavetta hawn taħt jirriflettumistral-moderation-2603, ibbażati fuq id-dokumentazzjoni u t-tipi mill-SDKmistralai3.7.0; id-deskrizzjonijiet isegwu d-definizzjonijiet ta’ Mistral. Il-valuri tal-output ippreżentati bħala data mkejla kienu eżempji illustrattivi u issa huma mmarkati b’mod ċar bħala tali. Sorsi: Moderation & Guardrailing · Mistral Moderation 2411 (mudell deprekat).
Fehim tal-Kategoriji tar-Riskju
Il-mudell ta’ Moderazzjoni ta’ Mistral janalizza l-kontenut f’11-il kategorija distinta. Kull kategorija tkopri tip speċifiku ta’ riskju u tirritorna punteġġ indipendenti bejn 0.0 u 1.0. Huwa essenzjali li tifhem eżattament x’tikxef kull kategorija biex tistabbilixxi limiti (thresholds) sinifikanti. Mingħajr din iċ-ċarezza, qed tgħodd biss in-numri u tistaqsi għaliex il-kontenut jiġi mblukkat b’mod mhux mistenni.
It-tabella hawn taħt tipprovdi ċ-ċavetta eżatta tal-API għal kull kategorija, x’tkopri, u t-tipi ta’ każijiet li taqbad fil-prattika.
| Kategorija | Ċavetta tal-API | X’jinkludi Mistral |
|---|---|---|
| Kontenut sesswali | sexual | Attivitajiet sesswali, nudità jew servizzi sesswali deskritti jew promossi b’mod espliċitu; kontenut edukattiv jew mediku mhux espliċitu ġeneralment huwa eżentat |
| Mibegħda u diskriminazzjoni | hate_and_discrimination | Preġudizzju, ostilità, jew sejħiet għad-diskriminazzjoni bbażati fuq karatteristiċi protetti, inkluż fastidju (harassment) |
| Vjolenza u theddidiet | violence_and_threats | Vjolenza fiżika deskritta, igglorifikata, inċitata jew imhedda, u struzzjonijiet biex titwettaq |
| Kontenut perikoluż | dangerous | Imġiba estremament perikoluża b’riskju għoli ta’ ħsara fiżika |
| Attivitajiet kriminali | criminal | Attivitajiet illegali deskritti jew promossi |
| Awto-ħsara | selfharm | Awto-ħsara, suwiċidju, disturbi fl-ikel: metodi, glorifikazzjoni, intenzjoni, sfidi perikolużi |
| Saħħa | health | Talbiet għal jew provvista ta’ pariri mediċi dettaljati jew personalizzati |
| Finanzi | financial | Talbiet għal jew provvista ta’ pariri finanzjarji dettaljati jew personalizzati |
| Legali | law | Talbiet għal jew provvista ta’ pariri legali dettaljati jew personalizzati |
| Data personali | pii | Talbiet, kondiviżjoni, jew tentattivi biex tinkiseb data ta’ identifikazzjoni: isem sħiħ, indirizz, numru tat-telefon, numru tas-sigurtà soċjali, dettalji bankarji |
| Jailbreak | jailbreaking | Tentattivi biex jinċirkawwaw ir-regoli tal-mudell permezz ta’ manipolazzjoni tal-prompt, logħob tar-rwoli, jew tekniki oħra |
Il-kategoriji dangerous, criminal, u jailbreaking waslu ma’ mistral-moderation-2603. Il-mudell preċedenti, mistral-moderation-2411, deprekat fil-31 ta’ Marzu, 2026, għaqqad l-ewwel żewġ taħt ċavetta waħda, dangerous_and_criminal_content, u ma kienx jiskopri jailbreaks. Xi eżempji ta’ tweġibiet fid-dokumentazzjoni għadhom juru din il-ħarsa ġenerali antika: aqra dejjem iċ-ċwievet li tirritorna l-API minflok ma tassumihom.
Kategoriji “Ibsaħ” vs “Rati”
Fil-prattika, dawn l-11-il kategorija jaqgħu f’żewġ gruppi bbażati fuq il-kritikalità, u din id-distinzjoni tmexxi l-istrateġija kollha tal-limiti (threshold) tiegħek.
Kategoriji “Ibsaħ” — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, u selfharm — jirrappreżentaw riskji serji fejn negattiv falz (nuqqas ta’ skoperta ta’ kontenut perikoluż) jista’ jkollu konsegwenzi gravi. Il-kontenut sesswali jġorr riskju legali u obbligi biex jiġu protetti l-minuri; id-diskors ta’ mibegħda jesponik għal ħsara kbira fir-reputazzjoni u responsabbiltà legali; il-vjolenza tinvolvi inċitament u theddidiet; il-kategoriji perikolużi u kriminali jkopru mġiba b’riskju għoli u attivitajiet illegali; l-awto-ħsara tinvolvi s-sigurtà tal-utent u sitwazzjonijiet li jheddu l-ħajja. Għal dawn is-sitt kategoriji, limiti baxxi ta’ 0.1 sa 0.2 huma ġġustifikati irrispettivament mill-prodott tiegħek, u int deliberatament taċċetta xi pożittivi foloz (false positives).
Kategoriji “Rati” jiddependu ħafna fuq il-kuntest tal-applikazzjoni tiegħek, b’limiti aġġustabbli bejn 0.3 u 0.8. Chatbot mediku leġittimu jeħtieġ li jiddiskuti health, app fintech teħtieġ konversazzjonijiet koperti minn financial, assistent legali neċessarjament jittratta law, u xi applikazzjonijiet legalment jiġbru data li taqa’ taħt pii. Każ wieħed jaqra b’mod differenti: jailbreaking ma jiddependix fuq is-suġġett iżda fuq l-intenzjoni li timmanipula l-mudell, u jibqa’ kritiku għal kwalunkwe applikazzjoni miftuħa għall-pubbliku.
Analiżi tal-Punteġġi f’Python
Il-funzjoni li ġejja ttrasforma sejħa API raw f’veduta li tista’ tinqara: tiżola l-kategoriji li jaqbżu 0.3, tidentifika l-ogħla punteġġ u l-kategorija tiegħu, u tirritorna indikatur safe li tista’ tuża direttament fil-loġika tal-applikazzjoni tiegħek.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analizza t-test u rritorna l-kategoriji tar-riskju."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separa l-kategoriji tar-riskju
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores huwa opzjonali fl-SDK, għalhekk l-or {}. Iġġri ż-żewġ eżempji fuq il-kont tiegħek: it-tislima għandha tibqa’ baxxa ħafna fuq kollox, filwaqt li l-mistoqsija dwar id-doża għandha tiżdied fuq health. Dan mhuwiex kontenut “perikoluż” fis-sens komuni—huwa kontenut li trid tiddeċiedi jekk jaqax fil-kamp ta’ applikazzjoni tiegħek.
Kategoriji Multipli: Test Wieħed Jista’ Jattiva Diversi Allerti
Test wieħed jista’ jkollu punteġġi għoljin f’diversi kategoriji fl-istess ħin—talba għal għajnuna bi frodi tat-taxxa tolqot criminal, financial, u law kollha flimkien. Il-loġika tad-deċiżjoni tiegħek trid tikkunsidra din il-multipliċità, u fuq kollox, tagħti prijorità: il-funzjoni hawn taħt tissorolja l-vjolazzjonijiet skont il-kobor tal-ksur tal-limitu (threshold), u tgħidlek liema kategorija effettivament wasslet għall-imblukkar.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evalwa r-riskju globali billi tikkunsidra l-kategoriji kollha."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Konfigurazzjoni skont il-profil
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Il-profil strict_thresholds isegwi eżattament il-loġika ibsaħ/rati spjegata hawn fuq: limiti ta’ 0.1 sa 0.15 fuq is-sitt kategoriji kritiċi u jailbreak, tolleranza f’0.3 għad-dominji kuntestwali. Żomm din l-istruttura bħala l-punt tat-tluq tiegħek u ddokumenta kwalunkwe devjazzjoni li tintroduċi.
Punti Ewlenin
mistral-moderation-2603janalizza l-kontenut f’11-il kategorija b’ċwievet fissi;hate,violence, jewunpredictablema jeżistux- Kull kategorija tirritorna punteġġ minn 0.0 sa 1.0
- Il-kategoriji “Ibsaħ” (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) jeħtieġu limiti baxxi - Il-kategoriji “Rati” (saħħa, finanzjarju, legali) jaġġustaw skont il-kuntest tal-applikazzjoni tiegħek
- Test wieħed jista’ jattiva kategoriji multipli fl-istess ħin
- Uża punteġġi raw (
category_scores) minflok booleans default