Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Punteġġi u Soglie ta' Moderazzjoni

Lezzjoni 7 / 12 Aġġornat 3 ta’ Novembru 2026 Zviluppatur
F'din il-paġna
  1. Kif Tinterpreta l-Punteġġi tal-Moderazzjoni
  2. Id-Definizzjoni tas-Soglie Tiegħek: Il-Matriċi tad-Deċiżjoni
  3. Sistema ta’ Klassifikazzjoni Multi-Livell
  4. Eżempju Prattiku: Analizza u Deċiedi
  5. Aġġustament Dinamiku tas-Soglie
  6. Żbalji li Għandek Tevita
  7. Punti Ewlenin

Aġġornat fit-3 ta’ Novembru 2026. Il-profil tas-soglie kien jirreferi għal kategoriji li ma jeżistux (hate, violence, unpredictable); issa huma allinjati mal-ħdax-il ċavetta minn mistral-moderation-2603, inkluż dangerous. Il-gwida għall-interpretazzjoni tal-punteġġ hija pprovduta bħala referenza ta’ taħriġ, peress li Mistral ma tippubblikax waħda. Il-monitor kien iqajjem KeyError għal kull kategorija nieqsa mill-profil u kien juża datetime.utcnow(), li ġiet iddeprekata minn Python 3.12. Sorsi: Moderation & Guardrailing · datetime.utcnow.

Kif Tinterpreta l-Punteġġi tal-Moderazzjoni

Kull kategorija tirritorna punteġġ bejn 0.0 u 1.0. Imma x’jfissru dawn in-numri fil-fatt? U kif tistabbilixxi s-soglie tad-deċiżjoni għall-applikazzjoni tiegħek? Din il-lezzjoni tagħtik iċ-ċwievet biex tbiddel punteġġi mhux ipproċessati f’deċiżjonijiet awtomatizzati—tgħaddi mill-kejl għall-politika.

L-ewwelnett, ifhem li Mistral ma tippreżentax dawn il-punteġġi bħala probabbiltajiet ikkalibrati. Punteġġ ta’ 0.6 ma jfissirx “ħames ċansijiet minn għaxra li dan it-test ikun perikoluż”; huwa sinjal qawwi mill-klassifikatur. Id-dokumentazzjoni tenfasizza żewġ punti utli. Il-boolejan categories fir-risposta japplikaw soglie li għażlet Mistral għal prestazzjoni ottimali fuq is-sett tat-test intern tagħha; tista’ tużahom, jew tibda mill-punteġġi mhux ipproċessati u tistabbilixxi tiegħek stess. Fuq dak is-sett tat-test, il-preċiżjoni tal-kategorija tvarja bejn 0.8 u 1.0, u r-rikall bejn 0.7 u 1.0: iseħħu kemm pożittivi foloz kif ukoll kontenut mitluf, għalhekk is-soglie mwaqqfa manwalment huma importanti.

Il-grilja hawn taħt mhix ippubblikata minn Mistral: hija referenza tal-bidu biex tivvalidaha kontra l-metriċi tiegħek stess.

FirxaInterpretazzjoni
0.0 - 0.1Kontenut ċarament sikur, l-ebda sinjal ma nstab
0.1 - 0.3Sinjal dgħajjef, possibbilment beninn iżda ambigwu
0.3 - 0.5Sinjal moderat, kontenut potenzjalment problematiku
0.5 - 0.7Sinjal qawwi, kontenut x’aktarx problematiku ħafna
0.7 - 1.0Sinjal qawwi ħafna, kontenut manifestament perikoluż

Id-Definizzjoni tas-Soglie Tiegħek: Il-Matriċi tad-Deċiżjoni

L-għażla ta’ soglia hija kompromess bejn is-sigurtà (imblokkar kemm jista’ jkun) u l-użabbiltà (tnaqqis tal-pożittivi foloz). L-ebda setting ma jirbaħ fuq iż-żewġ fronti, u l-pretensjoni kuntrarja twassal għal diskussjonijiet bla tmiem. Il-metodu ta’ ħidma huwa li tiddefinixxi tliet profili espliċiti u timmappja kull applikazzjoni għal wieħed minnhom.

Il-profil strett jimmira applikazzjoni għall-konsumatur fejn jistgħu jkunu preżenti minuri; il-profil ibbilanċjat jaqbel għal applikazzjoni professjonali B2B b’utenti identifikati; il-profil permissiv huwa rriżervat għal għodda interna mmaniġġjata minn esperti li jafu x’qed jitolbu.

# Three threshold profiles
PROFILES = {
    "strict": {
        # Consumer application, children possible
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B professional application
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Internal tool for experts
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Qabbel il-kolonna health bejn il-profil: 0.2, imbagħad 0.4, imbagħad 0.7. L-istess skambju dwar id-dożaġġ se jiġi mblukkat fl-ewwel każ u aċċettat fl-aħħar wieħed. Il-kuntest tal-użu jiddeċiedi, mhux in-natura tat-test.

Sistema ta’ Klassifikazzjoni Multi-Livell

L-imblukkar jew l-aċċettazzjoni hija viżjoni ssimplifikata żżejjed tar-realtà. Bejn kontenut manifestament sikur u kontenut manifestament li jikser ir-regoli, hemm żona griża fejn id-deċiżjoni t-tajba hija li turi waqt li timmarka. Il-funzjoni hawn taħt tintroduċi dan it-tielet stat: ‘il fuq mis-soglia, imblokka; ‘il fuq minn 60% tas-soglia, wissi u rreġistra; taħt dan, ħalli jgħaddi.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Green: safe content
    WARNING = "warning"    # Orange: content to monitor
    BLOCKED = "blocked"    # Red: blocked content

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Classifies content into 3 risk levels."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Warning zone: 60% of threshold
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Il-valur taż-żona oranġjo huwa kemm operazzjonali kif ukoll edukattiv: jurik x’inhu qed jgħix viċin tas-soglie tiegħek. Jekk kategorija tiġġenera ħafna twissijiet mingħajr qatt ma taqbeż il-linja, tkun taf li aġġustament ta’ ftit mija se jbiddel volum sinifikanti ta’ traffiku.

Eżempju Prattiku: Analizza u Deċiedi

L-assemblaġġ jinżel għal funzjoni waħda: sejjaħ il-klassifikatur, applika l-profil, ħu d-deċiżjoni. Il-paragun hawn taħt iservi bħala dimostrazzjoni—dożaġġ tal-paracetamol jiġi mblukkat fil-profil strett taħt health u aċċettat fil-profil permissiv, mingħajr linja waħda ta’ test tinbidel.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderates text and makes a decision based on the profile."""
    # Call to moderation API
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Apply profile thresholds
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Test with different profiles
text = "Take 2 paracetamol tablets every 6 hours"

# Strict profile: likely blocked (health)
result_strict = moderate_and_decide(text, "strict")

# Permissive profile: likely accepted
result_permissive = moderate_and_decide(text, "permissive")

Aġġustament Dinamiku tas-Soglie

Fil-produzzjoni, is-soglie tiegħek iridu jevolvu, u inti tmexxi dik l-evoluzzjoni bid-data. Il-monitor hawn taħt jikteb kull deċiżjoni f’fajl JSONL u jżomm kontaturi għall-imblukkar, it-twissijiet u l-għadd, kategorija b’kategorija. Ir-rapport li jirriżulta jagħtik rata ta’ imblukkar għal kull kategorija—l-unika metrika li tgħidlek jekk soglia hijiex baxxa wisq.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Collects moderation metrics to adjust thresholds."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Logs a moderation decision."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Update counters
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generates a report to adjust thresholds."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Żbalji li Għandek Tevita

L-ewwel żball huwa soglia waħda applikata għall-kategoriji kollha. Kull kategorija għandha d-distribuzzjoni tal-punteġġ tagħha: soglia ta’ 0.3 għal hate_and_discrimination ma tfissirx l-istess ħaġa bħal 0.3 għal health, fejn kontenut leġittimu naturalment jgħix ogħla fuq l-iskala. Aġġusta kull kategorija individwalment, anke jekk dan ifisser li tieħu ħdax-il deċiżjoni minflok waħda.

It-tieni huwa li tinjora l-pożittivi foloz. Rata għolja ta’ imblukkar tħassar il-fiduċja tal-utent ferm aktar malajr minn inċident iżolat, għax taffettwa nies li qed jaġixxu b’bona fidi. Segwi r-rata ta’ imblukkar skont il-kategorija u żid is-soglie meta d-data tiġġustifika dan.

It-tielet, aktar insidjuż, huwa n-nuqqas ta’ reġistrazzjoni tad-deċiżjonijiet. Mingħajr logs, ma tistax taġġusta s-soglie tiegħek b’mod infurmat u terġa’ lura għal diskussjonijiet ibbażati fuq l-opinjoni. Irreġistra sistematikament il-punteġġi, is-soglie applikati, u d-deċiżjonijiet meħuda—dan il-korpus huwa dak li se jagħmel ir-reviżjoni li jmiss mgħaġġla u inoppugnabbli.

Punti Ewlenin

  • Il-punteġġi jvarjaw minn 0.0 sa 1.0; mhumiex probabbiltajiet ikkalibrati, u Mistral tħeġġeġ li tistabbilixxi s-soglie tiegħek stess
  • Iddefinixxi profil ta’ soglie adattati għall-kuntest tiegħek (strett, ibbilanċjat, permissiv)
  • Implimenta sistema ta’ 3 livelli: sikur, twissija, imblukkat
  • Irreġistra d-deċiżjonijiet kollha biex taġġusta s-soglie tiegħek kontinwament
  • Kull kategorija teħtieġ is-soglia tagħha stess—l-ebda valur wieħed ma jaqbel għal kulħadd