Scóir agus Tairseacha Moderála
Ar an leathanach seo
Nuashonraithe an 3 Samhain 2026. Bhí catagóirí nach raibh ann (
hate,violence,unpredictable) luaite roimhe seo i bpróifílí tairseacha; tá siad ailínithe anois leis an aon eochair déag ómistral-moderation-2603,dangeroussan áireamh. Soláthraítear an treoir léirmhínithe scóir mar thagairt oiliúna, toisc nach bhfuil ceann foilsithe ag Mistral. Tharraing an monatóirKeyErrorroimhe seo d’aon chatagóir a bhí in easnamh sa phróifíl agus d’úsáid sédatetime.utcnow(), atá tar éis dul in éag ó Python 3.12. Foinse: Moderation & Guardrailing · datetime.utcnow.
Scóir Moderála a Léirmhíniú
Tugann gach catagóir scór idir 0.0 agus 1.0 ar ais. Ach cad a chiallaíonn na huimhreacha seo i ndáiríre? Agus conas a shocraíonn tú tairseacha cinnteoireachta do d’fheidhmchlár? Tugann an ceacht seo na heochracha duit chun scóir amha a thiontú ina gcinntí uathoibrithe—ag bogadh ó thomhas go polasaí.
Ar dtús, tuig nach dtugann Mistral na scóir seo i láthair mar dhóchúlachtaí calabrálta. Ní chiallaíonn scór 0.6 “seans sé as deich go bhfuil an téacs seo contúirteach”; is comhartha láidir é ón aicmitheoir. Leagann an doiciméadúacht béim ar dhá phointe úsáideacha. Cuirtear tairseacha i bhfeidhm ar na booleanna categories sa fhreagra a roghnaigh Mistral don fheidhmíocht is fearr ar a thacar tástála inmheánach; is féidir leat iad sin a úsáid, nó tosú leis na scóir amha agus do chuid féin a shocrú. Ar an tacar tástála sin, raonann cruinneas na catagóire ó 0.8 go 1.0, agus cuimhne ó 0.7 go 1.0: tarlaíonn dearbh-thorthaí bréagacha agus ábhar ar iarraidh araon, rud a fhágann go bhfuil tábhacht le tairseacha a thiúntar de láimh.
Níl an greille thíos foilsithe ag Mistral: is pointe tosaigh é chun bailíochtú i gcoinne do mhéadrach féin.
| Raon | Léirmhíniú |
|---|---|
| 0.0 - 0.1 | Ábhar sábháilte go soiléir, gan aon chomhartha braite |
| 0.1 - 0.3 | Comhartha lag, b’fhéidir neamhchiontach ach débhríoch |
| 0.3 - 0.5 | Comhartha measartha, ábhar a d’fhéadfadh a bheith fadhbach |
| 0.5 - 0.7 | Comhartha láidir, ábhar an-dóchúil a bheith fadhbach |
| 0.7 - 1.0 | Comhartha an-láidir, ábhar atá contúirteach go follasach |
Do Thairseacha a Shainiú: An Maitrís Cinnteoireachta
Is idirbheart é tairseach a roghnú idir sábháilteacht (an oiread agus is féidir a bhac) agus úsáideacht (dearbh-thorthaí bréagacha a íoslaghdú). Níl aon socrú a bhuaíonn ar an dá thosa, agus má mhaíonn tú a mhalairt, ní bheidh deireadh leis an argóint. Is é an modh oibre ná trí phróifíl shainráite a shainiú agus gach feidhmchlár a mhapáil ceann acu.
Díríonn an phróifíl dhian ar fheidhmchlár tomhaltóra ina bhféadfadh mionaoisigh a bheith i láthair; oireann an phróifíl chothromaithe d’fheidhmchlár gairmiúil B2B le húsáideoirí aitheanta; agus tá an phróifíl cheadaitheach curtha in áirithe d’uirlis inmheánach a láimhleálann saineolaithe a fhios acu cad atá á lorg acu.
# Three threshold profiles
PROFILES = {
"strict": {
# Consumer application, children possible
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B professional application
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Internal tool for experts
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Déan comparáid idir an colún health thar na próifílí: 0.2, ansin 0.4, ansin 0.7. Bacfar an malartú céanna faoi dháileog sa chéad chás agus glacfadh leis sa cheann deireanach. Is é comhthéacs úsáide a chinneann, ní nádúr an téacs.
Córas Aicmithe Illeibhéil
Is léiriú ró-shimplí ar an réaltacht é blocáil nó glacadh. Idir ábhar atá sábháilte go follasach agus ábhar atá ag sárú go follasach, tá crios liath ina bhfuil an cinneadh ceart ná taispeáint ach bratach a chur air. Tugann an fheidhm thíos an tríú staid seo isteach: os cionn na tairseach, bac; os cionn 60% den tairseach, tabhair rabhadh agus déan logáil; faoi bhun sin, lig dó dul tríd.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Green: safe content
WARNING = "warning" # Orange: content to monitor
BLOCKED = "blocked" # Red: blocked content
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Classifies content into 3 risk levels."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Warning zone: 60% of threshold
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Tá luach an chreasa oráiste chomh hoibríochtúil agus atá sé oideachasúil: taispeánann sé duit cad atá ag brú in aghaidh do thairseacha. Má ghineann catagóir go leor rabhaidh gan an líne a thrasnú riamh, tá a fhios agat go n-aistreodh coigeartú cúpla céadú cuid méid suntasach tráchta.
Sampla Oibre: Anailís a Dhéanamh agus Cinneadh a Ghlacadh
Tagann an cóimeáil síos go dtí feidhm amháin: glaoigh ar an aicmitheoir, cuir an phróifíl i bhfeidhm, déan an cinneadh. Feidhmíonn an chomparáid thíos mar léiriú—bacfar dáileog paracetamóil sa phróifíl dhian faoi health agus glacfar léi sa phróifíl cheadaitheach, gan aon líne téacs a athrú.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderates text and makes a decision based on the profile."""
# Call to moderation API
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Apply profile thresholds
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Test with different profiles
text = "Take 2 paracetamol tablets every 6 hours"
# Strict profile: likely blocked (health)
result_strict = moderate_and_decide(text, "strict")
# Permissive profile: likely accepted
result_permissive = moderate_and_decide(text, "permissive")
Tairseacha a Choigeartú go Dinimiciúil
Sa táirgeadh, caithfidh do thairseacha forbairt, agus stiúraíonn tú an fhorbairt sin le sonraí. Scríobhann an monatóir thíos gach cinneadh chuig comhad JSONL agus coinníonn sé cuntair do bhlocálacha, rabhaidh, agus pasanna, catagóir ar chatagóir. Tugann an tuarascáil a thagann as ráta blocála in aghaidh na catagóire duit—an t-aon mhéadrach a insíonn duit an bhfuil tairseach ró-íseal.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Collects moderation metrics to adjust thresholds."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Logs a moderation decision."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Update counters
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Generates a report to adjust thresholds."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Patanna le Seachaint
Is é an chéad phata ná tairseach amháin a chur i bhfeidhm ar gach catagóir. Tá dáileadh scóir difriúil ag gach catagóir: ní chiallaíonn tairseach 0.3 do hate_and_discrimination an rud céanna le 0.3 do health, áit a mbíonn ábhar dlisteanach níos airde ar an scála go nádúrtha. Coigeartaigh gach catagóir go haonair, fiú má chiallaíonn sé sin aon chinneadh déag a dhéanamh in ionad cinn amháin.
Is é an dara ceann ná neamhaird a dhéanamh ar dhearbh-thorthaí bréagacha. Creimeann ráta blocála ard muinín úsáideoirí i bhfad níos tapúla ná eachtra aonair, toisc go mbíonn tionchar aige ar dhaoine atá ag gníomhú de mheon macánta. Rianaigh an ráta blocála de réir catagóire agus ardaigh tairseacha nuair a thugann na sonraí údar leis.
Is é an tríú ceann, atá níos insidious, ná teipthe ar chinntí a logáil. Gan logaí, ní féidir leat do thairseacha a choigeartú ar bhealach eolasach agus filleann tú ar phléiteanna bunaithe ar thuairimí. Taifead scóir, tairseacha curtha i bhfeidhm, agus cinntí déanta go córasach—is é an corpas seo a dhéanfaidh an chéad athbhreithniú tapa agus dosháraithe.
Príomhphointí
- Raonaíonn scóir ó 0.0 go 1.0; ní dóchúlachtaí calabrálta iad, agus molann Mistral do thairseacha féin a shocrú
- Sainigh próifílí tairseacha atá oiriúnaithe do do chomhthéacs (dian, cothromaithe, ceadaitheach)
- Cuir córas 3-leibhéal i bhfeidhm: sábháilte, rabhadh, blocáilte
- Déan logáil ar gach cinneadh chun do thairseacha a choigeartú go leanúnach
- Teastaíonn tairseach ar leith do gach catagóir—ní oireann aon luach amháin do gach rud