Punteġġi u Soglie ta' Moderazzjoni
F'din il-paġna
Aġġornat fit-3 ta’ Novembru 2026. Il-profil tas-soglie kien jirreferi għal kategoriji li ma jeżistux (
hate,violence,unpredictable); issa huma allinjati mal-ħdax-il ċavetta minnmistral-moderation-2603, inklużdangerous. Il-gwida għall-interpretazzjoni tal-punteġġ hija pprovduta bħala referenza ta’ taħriġ, peress li Mistral ma tippubblikax waħda. Il-monitor kien iqajjemKeyErrorgħal kull kategorija nieqsa mill-profil u kien jużadatetime.utcnow(), li ġiet iddeprekata minn Python 3.12. Sorsi: Moderation & Guardrailing · datetime.utcnow.
Kif Tinterpreta l-Punteġġi tal-Moderazzjoni
Kull kategorija tirritorna punteġġ bejn 0.0 u 1.0. Imma x’jfissru dawn in-numri fil-fatt? U kif tistabbilixxi s-soglie tad-deċiżjoni għall-applikazzjoni tiegħek? Din il-lezzjoni tagħtik iċ-ċwievet biex tbiddel punteġġi mhux ipproċessati f’deċiżjonijiet awtomatizzati—tgħaddi mill-kejl għall-politika.
L-ewwelnett, ifhem li Mistral ma tippreżentax dawn il-punteġġi bħala probabbiltajiet ikkalibrati. Punteġġ ta’ 0.6 ma jfissirx “ħames ċansijiet minn għaxra li dan it-test ikun perikoluż”; huwa sinjal qawwi mill-klassifikatur. Id-dokumentazzjoni tenfasizza żewġ punti utli. Il-boolejan categories fir-risposta japplikaw soglie li għażlet Mistral għal prestazzjoni ottimali fuq is-sett tat-test intern tagħha; tista’ tużahom, jew tibda mill-punteġġi mhux ipproċessati u tistabbilixxi tiegħek stess. Fuq dak is-sett tat-test, il-preċiżjoni tal-kategorija tvarja bejn 0.8 u 1.0, u r-rikall bejn 0.7 u 1.0: iseħħu kemm pożittivi foloz kif ukoll kontenut mitluf, għalhekk is-soglie mwaqqfa manwalment huma importanti.
Il-grilja hawn taħt mhix ippubblikata minn Mistral: hija referenza tal-bidu biex tivvalidaha kontra l-metriċi tiegħek stess.
| Firxa | Interpretazzjoni |
|---|---|
| 0.0 - 0.1 | Kontenut ċarament sikur, l-ebda sinjal ma nstab |
| 0.1 - 0.3 | Sinjal dgħajjef, possibbilment beninn iżda ambigwu |
| 0.3 - 0.5 | Sinjal moderat, kontenut potenzjalment problematiku |
| 0.5 - 0.7 | Sinjal qawwi, kontenut x’aktarx problematiku ħafna |
| 0.7 - 1.0 | Sinjal qawwi ħafna, kontenut manifestament perikoluż |
Id-Definizzjoni tas-Soglie Tiegħek: Il-Matriċi tad-Deċiżjoni
L-għażla ta’ soglia hija kompromess bejn is-sigurtà (imblokkar kemm jista’ jkun) u l-użabbiltà (tnaqqis tal-pożittivi foloz). L-ebda setting ma jirbaħ fuq iż-żewġ fronti, u l-pretensjoni kuntrarja twassal għal diskussjonijiet bla tmiem. Il-metodu ta’ ħidma huwa li tiddefinixxi tliet profili espliċiti u timmappja kull applikazzjoni għal wieħed minnhom.
Il-profil strett jimmira applikazzjoni għall-konsumatur fejn jistgħu jkunu preżenti minuri; il-profil ibbilanċjat jaqbel għal applikazzjoni professjonali B2B b’utenti identifikati; il-profil permissiv huwa rriżervat għal għodda interna mmaniġġjata minn esperti li jafu x’qed jitolbu.
# Three threshold profiles
PROFILES = {
"strict": {
# Consumer application, children possible
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B professional application
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Internal tool for experts
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Qabbel il-kolonna health bejn il-profil: 0.2, imbagħad 0.4, imbagħad 0.7. L-istess skambju dwar id-dożaġġ se jiġi mblukkat fl-ewwel każ u aċċettat fl-aħħar wieħed. Il-kuntest tal-użu jiddeċiedi, mhux in-natura tat-test.
Sistema ta’ Klassifikazzjoni Multi-Livell
L-imblukkar jew l-aċċettazzjoni hija viżjoni ssimplifikata żżejjed tar-realtà. Bejn kontenut manifestament sikur u kontenut manifestament li jikser ir-regoli, hemm żona griża fejn id-deċiżjoni t-tajba hija li turi waqt li timmarka. Il-funzjoni hawn taħt tintroduċi dan it-tielet stat: ‘il fuq mis-soglia, imblokka; ‘il fuq minn 60% tas-soglia, wissi u rreġistra; taħt dan, ħalli jgħaddi.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Green: safe content
WARNING = "warning" # Orange: content to monitor
BLOCKED = "blocked" # Red: blocked content
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Classifies content into 3 risk levels."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Warning zone: 60% of threshold
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Il-valur taż-żona oranġjo huwa kemm operazzjonali kif ukoll edukattiv: jurik x’inhu qed jgħix viċin tas-soglie tiegħek. Jekk kategorija tiġġenera ħafna twissijiet mingħajr qatt ma taqbeż il-linja, tkun taf li aġġustament ta’ ftit mija se jbiddel volum sinifikanti ta’ traffiku.
Eżempju Prattiku: Analizza u Deċiedi
L-assemblaġġ jinżel għal funzjoni waħda: sejjaħ il-klassifikatur, applika l-profil, ħu d-deċiżjoni. Il-paragun hawn taħt iservi bħala dimostrazzjoni—dożaġġ tal-paracetamol jiġi mblukkat fil-profil strett taħt health u aċċettat fil-profil permissiv, mingħajr linja waħda ta’ test tinbidel.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderates text and makes a decision based on the profile."""
# Call to moderation API
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Apply profile thresholds
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Test with different profiles
text = "Take 2 paracetamol tablets every 6 hours"
# Strict profile: likely blocked (health)
result_strict = moderate_and_decide(text, "strict")
# Permissive profile: likely accepted
result_permissive = moderate_and_decide(text, "permissive")
Aġġustament Dinamiku tas-Soglie
Fil-produzzjoni, is-soglie tiegħek iridu jevolvu, u inti tmexxi dik l-evoluzzjoni bid-data. Il-monitor hawn taħt jikteb kull deċiżjoni f’fajl JSONL u jżomm kontaturi għall-imblukkar, it-twissijiet u l-għadd, kategorija b’kategorija. Ir-rapport li jirriżulta jagħtik rata ta’ imblukkar għal kull kategorija—l-unika metrika li tgħidlek jekk soglia hijiex baxxa wisq.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Collects moderation metrics to adjust thresholds."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Logs a moderation decision."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Update counters
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Generates a report to adjust thresholds."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Żbalji li Għandek Tevita
L-ewwel żball huwa soglia waħda applikata għall-kategoriji kollha. Kull kategorija għandha d-distribuzzjoni tal-punteġġ tagħha: soglia ta’ 0.3 għal hate_and_discrimination ma tfissirx l-istess ħaġa bħal 0.3 għal health, fejn kontenut leġittimu naturalment jgħix ogħla fuq l-iskala. Aġġusta kull kategorija individwalment, anke jekk dan ifisser li tieħu ħdax-il deċiżjoni minflok waħda.
It-tieni huwa li tinjora l-pożittivi foloz. Rata għolja ta’ imblukkar tħassar il-fiduċja tal-utent ferm aktar malajr minn inċident iżolat, għax taffettwa nies li qed jaġixxu b’bona fidi. Segwi r-rata ta’ imblukkar skont il-kategorija u żid is-soglie meta d-data tiġġustifika dan.
It-tielet, aktar insidjuż, huwa n-nuqqas ta’ reġistrazzjoni tad-deċiżjonijiet. Mingħajr logs, ma tistax taġġusta s-soglie tiegħek b’mod infurmat u terġa’ lura għal diskussjonijiet ibbażati fuq l-opinjoni. Irreġistra sistematikament il-punteġġi, is-soglie applikati, u d-deċiżjonijiet meħuda—dan il-korpus huwa dak li se jagħmel ir-reviżjoni li jmiss mgħaġġla u inoppugnabbli.
Punti Ewlenin
- Il-punteġġi jvarjaw minn 0.0 sa 1.0; mhumiex probabbiltajiet ikkalibrati, u Mistral tħeġġeġ li tistabbilixxi s-soglie tiegħek stess
- Iddefinixxi profil ta’ soglie adattati għall-kuntest tiegħek (strett, ibbilanċjat, permissiv)
- Implimenta sistema ta’ 3 livelli: sikur, twissija, imblukkat
- Irreġistra d-deċiżjonijiet kollha biex taġġusta s-soglie tiegħek kontinwament
- Kull kategorija teħtieġ is-soglia tagħha stess—l-ebda valur wieħed ma jaqbel għal kulħadd