Moderatsiooni skoorid ja lävendids
Sellel lehel
Uuendatud 3. novembril 2026. Varem viitasid lävendiprofiilid olematutele kategooriatele (
hate,violence,unpredictable); nüüd on need kooskõlas mudelimistral-moderation-2603üheteistkümne võtmega, sealhulgasdangerous. Skooride tõlgendamise juhend on esitatud õppematerjalina, kuna Mistral seda ametlikult ei avalda. Monitor tõstis varemKeyErroriga profiilist puuduva kategooria korral ja kasutas meetoditdatetime.utcnow(), mis on alates Pythoni versioonist 3.12 aegunud. Allikad: Moderation & Guardrailing · datetime.utcnow.
Moderatsiooni skooride tõlgendamine
Iga kategooria tagastab skoori vahemikus 0,0 kuni 1,0. Aga mida need numbrid tegelikult tähendavad? Ja kuidas määrata oma rakenduse jaoks otsustuslävendeid? See õppetund annab sulle võtmed, kuidas muuta toorskoorid automatiseeritud otsusteks – liikudes mõõtmiselt poliitikale.
Kõigepealt mõista, et Mistral ei esita neid skoore kalibreeritud tõenäosustena. Skoor 0,6 ei tähenda „kuuekümneprotsendilist tõenäosust, et see tekst on ohtlik“; see on klassifikaatori tugev signaal. Dokumentatsioon toob välja kaks olulist punkti. Vastuses olevad booleväärtusega categories rakendavad lävendeid, mille Mistral on valinud optimaalseks toimivuseks oma sisetestikomplektis; saad kasutada neid või alustada toorskooridest ja määrata oma lävendid. Selles testkomplektis on kategooriate täpsus (precision) vahemikus 0,8 kuni 1,0 ja meeldetuletus (recall) vahemikus 0,7 kuni 1,0: esineb nii valepositiivseid tulemusi kui ka vahelejäänud sisu, mistõttu on käsitsi häälestatud lävendid nii olulised.
Allpool olev tabel ei ole Mistrali poolt avaldatud: see on lähtepunkt, mida valideerida oma meetrikate vastu.
| Vahemik | Tõlgendus |
|---|---|
| 0,0 – 0,1 | Selgelt ohutu sisu, signaali ei tuvastatud |
| 0,1 – 0,3 | Nõrk signaal, võimalik, et kahjutu, kuid mitmetimõistetav |
| 0,3 – 0,5 | Mõõdukas signaal, potentsiaalselt problemaatiline sisu |
| 0,5 – 0,7 | Tugev signaal, väga tõenäoliselt problemaatiline sisu |
| 0,7 – 1,0 | Väga tugev signaal, ilmselgelt ohtlik sisu |
Lävendite määratlemine: otsustusmaatriks
Lävenni valik on kompromiss ohutuse (blokeerida nii palju kui võimalik) ja kasutatavuse (minimeerida valepositiivseid tulemusi) vahel. Ükski seadistus ei võida mõlemal rindel ja vastupidine väitmine viib lõputu tagasipööramiseni. Töömeetod seisneb kolme selge profiili defineerimises ja iga rakenduse ühele neist kaardistamises.
Range profiil on suunatud tarbijarakendusele, kus võivad viibida alaealised; tasakaalustatud profiil sobib B2B professionaalsele rakendusele identifitseeritud kasutajatega; lubav profiil on reserveeritud sisesele tööriistale, mida haldavad eksperdid, kes teavad, mida nad küsivad.
# Kolm lävendiprofiili
PROFILES = {
"strict": {
# Tarbijarakendus, võimalikud lapsed
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B professionaalne rakendus
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Sisene tööriist ekspertidele
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Võrdle veergu health erinevates profiilides: 0,2, seejärel 0,4 ja lõpuks 0,7. Sama annustamist puudutav vahetus blokeeritakse esimesel juhul ja aktsepteeritakse viimasel, ilma et tekst ise muutuks. Otsuse teeb kasutuskontekst, mitte teksti olemus.
Mitmetasemeline klassifitseerimissüsteem
Blokeerimine või aktsepteerimine on liialdatud lihtsustatud vaade reaalsusele. Ilmselgelt ohutu sisu ja ilmselgelt reegleid rikkiva sisu vahel asub hall tsoon, kus õige otsus on sisu kuvada, kuid see märgistada. Allpool olev funktsioon tutvustab seda kolmandat olekut: üle lävendi – blokeeri; üle 60% lävendist – hoiata ja logi; sellest allpool – lase läbi.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Roheline: ohutu sisu
WARNING = "warning" # Oranž: jälgitav sisu
BLOCKED = "blocked" # Punane: blokeeritud sisu
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Klassifitseerib sisu kolme riskitasemesse."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Hoiatustsoon: 60% lävendist
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Oranži tsooni väärtus on sama palju operatiivne kui hariv: see näitab sulle, mis piirneb sinu lävenditega. Kui üks kategooria genereerib palju hoiatusi, ületamata kunagi piiri, tead, et mõne sajandiku suurune kohandus nihutaks olulise osa liiklusest.
Lahendatud näide: analüüsi ja otsusta
Kogu protsess taandub ühele funktsioonile: kutsu klassifikaator, rakenda profiil, tee otsus. Allpool olev võrdlus on demonstratsiooniks – paratsetamooli annustamine blokeeritakse ranges profiilis kategooria health all ja aktsepteeritakse lubavas profiilis, ilma et teksti ainuski rida muutuks.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderatsioonib teksti ja teeb otsuse põhinevalt profiilil."""
# Kutse moderatsiooni API-le
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Rakenda profiili lävendid
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Testi erinevate profiilidega
text = "Take 2 paracetamol tablets every 6 hours"
# Range profiil: tõenäoliselt blokeeritud (health)
result_strict = moderate_and_decide(text, "strict")
# Lubav profiil: tõenäoliselt aktsepteeritud
result_permissive = moderate_and_decide(text, "permissive")
Lävendite dünaamiline kohandamine
Tootmises peavad sinu lävendid arenema ja sa suunad seda arengut andmetega. Allpool olev monitor kirjutab iga otsuse JSONL-faili ja hoiab arvestust blokeeringute, hoiatuste ja läbimiste kohta kategooria haaval. Saadud aruanne annab sulle blokeerimismäära kategooria kohta – see on ainus meetrika, mis ütleb, kas lävend on liiga madal.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Kogub moderatsiooni meetrikaid lävendite kohandamiseks."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Logib moderatsiooniotsuse."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Uuenda loendureid
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Genereerib aruande lävendite kohandamiseks."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Lõksud, mida vältida
Esimene lõks on ühe lävendi rakendamine kõigile kategooriatele. Igal kategoorial on oma skooride jaotus: lävend 0,3 kategooriale hate_and_discrimination ei tähenda sama mis 0,3 kategooriale health, kus legitiimne sisu asub loomupäraselt skaalal kõrgemal. Kohanda iga kategooriat individuaalselt, isegi kui see tähendab üheteistkümne otsuse tegemist ühe asemel.
Teine on valepositiivsete tulemuste ignoreerimine. Kõrge blokeerimismäär õõnestab kasutajate usaldust palju kiiremini kui üksikjuhtum, sest see mõjutab heas usus tegutsevaid inimesi. Jälgi blokeerimismäära kategooria haaval ja tõsta lävendeid, kui andmed seda õigustavad.
Kolmas, salakavalam lõks on otsuste logimata jätmine. Ilma logideta ei saa sa oma lävendeid teadlikult kohandada ja pöördud tagasi arvamustel põhinevate arutelude juurde. Salvesta süstemaatiliselt skoorid, rakendatud lävendid ja tehtud otsused – see korpuse on see, mis teeb järgmise revisjoni kiireks ja vaidlustamatuks.
Peamised punktid
- Skoorid jäävad vahemikku 0,0 kuni 1,0; need ei ole kalibreeritud tõenäosused ja Mistral soovitab määrata oma lävendid
- Defineeri lävendiprofiilid, mis on kohandatud sinu kontekstiga (range, tasakaalustatud, lubav)
- Rakenda 3-tasemeline süsteem: ohutu, hoiatus, blokeeritud
- Logi kõik otsused, et oma lävendeid pidevalt kohandada
- Iga kategooria nõuab oma lävendit – üksainus väärtus ei sobi kõigile