Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

L-11 Kategorija ta' Moderazzjoni

Lezzjoni 6 / 12 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Fehim tal-Kategoriji tar-Riskju
  2. Kategoriji “Ibsaħ” vs “Rati”
  3. Analiżi tal-Punteġġi f’Python
  4. Kategoriji Multipli: Test Wieħed Jista’ Jattiva Diversi Allerti
  5. Punti Ewlenin

Aġġornat fit-3 ta’ Novembru, 2026. It-tabella tal-kategoriji preċedentement elenkat tliet ċwievet li ma jeżistux (hate, violence, unpredictable) u ħalliet barra dangerous. L-ħdax-il ċavetta hawn taħt jirriflettu mistral-moderation-2603, ibbażati fuq id-dokumentazzjoni u t-tipi mill-SDK mistralai 3.7.0; id-deskrizzjonijiet isegwu d-definizzjonijiet ta’ Mistral. Il-valuri tal-output ippreżentati bħala data mkejla kienu eżempji illustrattivi u issa huma mmarkati b’mod ċar bħala tali. Sorsi: Moderation & Guardrailing · Mistral Moderation 2411 (mudell deprekat).

Fehim tal-Kategoriji tar-Riskju

Il-mudell ta’ Moderazzjoni ta’ Mistral janalizza l-kontenut f’11-il kategorija distinta. Kull kategorija tkopri tip speċifiku ta’ riskju u tirritorna punteġġ indipendenti bejn 0.0 u 1.0. Huwa essenzjali li tifhem eżattament x’tikxef kull kategorija biex tistabbilixxi limiti (thresholds) sinifikanti. Mingħajr din iċ-ċarezza, qed tgħodd biss in-numri u tistaqsi għaliex il-kontenut jiġi mblukkat b’mod mhux mistenni.

It-tabella hawn taħt tipprovdi ċ-ċavetta eżatta tal-API għal kull kategorija, x’tkopri, u t-tipi ta’ każijiet li taqbad fil-prattika.

KategorijaĊavetta tal-APIX’jinkludi Mistral
Kontenut sesswalisexualAttivitajiet sesswali, nudità jew servizzi sesswali deskritti jew promossi b’mod espliċitu; kontenut edukattiv jew mediku mhux espliċitu ġeneralment huwa eżentat
Mibegħda u diskriminazzjonihate_and_discriminationPreġudizzju, ostilità, jew sejħiet għad-diskriminazzjoni bbażati fuq karatteristiċi protetti, inkluż fastidju (harassment)
Vjolenza u theddidietviolence_and_threatsVjolenza fiżika deskritta, igglorifikata, inċitata jew imhedda, u struzzjonijiet biex titwettaq
Kontenut perikolużdangerousImġiba estremament perikoluża b’riskju għoli ta’ ħsara fiżika
Attivitajiet kriminalicriminalAttivitajiet illegali deskritti jew promossi
Awto-ħsaraselfharmAwto-ħsara, suwiċidju, disturbi fl-ikel: metodi, glorifikazzjoni, intenzjoni, sfidi perikolużi
SaħħahealthTalbiet għal jew provvista ta’ pariri mediċi dettaljati jew personalizzati
FinanzifinancialTalbiet għal jew provvista ta’ pariri finanzjarji dettaljati jew personalizzati
LegalilawTalbiet għal jew provvista ta’ pariri legali dettaljati jew personalizzati
Data personalipiiTalbiet, kondiviżjoni, jew tentattivi biex tinkiseb data ta’ identifikazzjoni: isem sħiħ, indirizz, numru tat-telefon, numru tas-sigurtà soċjali, dettalji bankarji
JailbreakjailbreakingTentattivi biex jinċirkawwaw ir-regoli tal-mudell permezz ta’ manipolazzjoni tal-prompt, logħob tar-rwoli, jew tekniki oħra

Il-kategoriji dangerous, criminal, u jailbreaking waslu ma’ mistral-moderation-2603. Il-mudell preċedenti, mistral-moderation-2411, deprekat fil-31 ta’ Marzu, 2026, għaqqad l-ewwel żewġ taħt ċavetta waħda, dangerous_and_criminal_content, u ma kienx jiskopri jailbreaks. Xi eżempji ta’ tweġibiet fid-dokumentazzjoni għadhom juru din il-ħarsa ġenerali antika: aqra dejjem iċ-ċwievet li tirritorna l-API minflok ma tassumihom.

Kategoriji “Ibsaħ” vs “Rati”

Fil-prattika, dawn l-11-il kategorija jaqgħu f’żewġ gruppi bbażati fuq il-kritikalità, u din id-distinzjoni tmexxi l-istrateġija kollha tal-limiti (threshold) tiegħek.

Kategoriji “Ibsaħ” — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, u selfharm — jirrappreżentaw riskji serji fejn negattiv falz (nuqqas ta’ skoperta ta’ kontenut perikoluż) jista’ jkollu konsegwenzi gravi. Il-kontenut sesswali jġorr riskju legali u obbligi biex jiġu protetti l-minuri; id-diskors ta’ mibegħda jesponik għal ħsara kbira fir-reputazzjoni u responsabbiltà legali; il-vjolenza tinvolvi inċitament u theddidiet; il-kategoriji perikolużi u kriminali jkopru mġiba b’riskju għoli u attivitajiet illegali; l-awto-ħsara tinvolvi s-sigurtà tal-utent u sitwazzjonijiet li jheddu l-ħajja. Għal dawn is-sitt kategoriji, limiti baxxi ta’ 0.1 sa 0.2 huma ġġustifikati irrispettivament mill-prodott tiegħek, u int deliberatament taċċetta xi pożittivi foloz (false positives).

Kategoriji “Rati” jiddependu ħafna fuq il-kuntest tal-applikazzjoni tiegħek, b’limiti aġġustabbli bejn 0.3 u 0.8. Chatbot mediku leġittimu jeħtieġ li jiddiskuti health, app fintech teħtieġ konversazzjonijiet koperti minn financial, assistent legali neċessarjament jittratta law, u xi applikazzjonijiet legalment jiġbru data li taqa’ taħt pii. Każ wieħed jaqra b’mod differenti: jailbreaking ma jiddependix fuq is-suġġett iżda fuq l-intenzjoni li timmanipula l-mudell, u jibqa’ kritiku għal kwalunkwe applikazzjoni miftuħa għall-pubbliku.

Analiżi tal-Punteġġi f’Python

Il-funzjoni li ġejja ttrasforma sejħa API raw f’veduta li tista’ tinqara: tiżola l-kategoriji li jaqbżu 0.3, tidentifika l-ogħla punteġġ u l-kategorija tiegħu, u tirritorna indikatur safe li tista’ tuża direttament fil-loġika tal-applikazzjoni tiegħek.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analizza t-test u rritorna l-kategoriji tar-riskju."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separa l-kategoriji tar-riskju
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores huwa opzjonali fl-SDK, għalhekk l-or {}. Iġġri ż-żewġ eżempji fuq il-kont tiegħek: it-tislima għandha tibqa’ baxxa ħafna fuq kollox, filwaqt li l-mistoqsija dwar id-doża għandha tiżdied fuq health. Dan mhuwiex kontenut “perikoluż” fis-sens komuni—huwa kontenut li trid tiddeċiedi jekk jaqax fil-kamp ta’ applikazzjoni tiegħek.

Kategoriji Multipli: Test Wieħed Jista’ Jattiva Diversi Allerti

Test wieħed jista’ jkollu punteġġi għoljin f’diversi kategoriji fl-istess ħin—talba għal għajnuna bi frodi tat-taxxa tolqot criminal, financial, u law kollha flimkien. Il-loġika tad-deċiżjoni tiegħek trid tikkunsidra din il-multipliċità, u fuq kollox, tagħti prijorità: il-funzjoni hawn taħt tissorolja l-vjolazzjonijiet skont il-kobor tal-ksur tal-limitu (threshold), u tgħidlek liema kategorija effettivament wasslet għall-imblukkar.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evalwa r-riskju globali billi tikkunsidra l-kategoriji kollha."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Konfigurazzjoni skont il-profil
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Il-profil strict_thresholds isegwi eżattament il-loġika ibsaħ/rati spjegata hawn fuq: limiti ta’ 0.1 sa 0.15 fuq is-sitt kategoriji kritiċi u jailbreak, tolleranza f’0.3 għad-dominji kuntestwali. Żomm din l-istruttura bħala l-punt tat-tluq tiegħek u ddokumenta kwalunkwe devjazzjoni li tintroduċi.

Punti Ewlenin

  • mistral-moderation-2603 janalizza l-kontenut f’11-il kategorija b’ċwievet fissi; hate, violence, jew unpredictable ma jeżistux
  • Kull kategorija tirritorna punteġġ minn 0.0 sa 1.0
  • Il-kategoriji “Ibsaħ” (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) jeħtieġu limiti baxxi
  • Il-kategoriji “Rati” (saħħa, finanzjarju, legali) jaġġustaw skont il-kuntest tal-applikazzjoni tiegħek
  • Test wieħed jista’ jattiva kategoriji multipli fl-istess ħin
  • Uża punteġġi raw (category_scores) minflok booleans default