Rezultatai moderavimo ir slenksčiai
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. Anksčiau naudoti slenksčių profiliai nurodė neegzistuojančias kategorijas (
hate,violence,unpredictable); dabar jie atitinka vienuolika raktų išmistral-moderation-2603, įskaitantdangerous. Rezultatų interpretavimo gairės pateikiamos kaip mokymosi nuoroda, nes „Mistral“ jų neskelbia. Anksčiau stebėjimo sistema išmesdavoKeyError, jei profilyje trūkdavo kategorija, ir naudojodatetime.utcnow(), kuris paseno nuo Python 3.12 versijos. Šaltiniai: Moderavimas ir apsauga · datetime.utcnow.
Kaip interpretuoti moderavimo rezultatus
Kiekviena kategorija grąžina rezultatą nuo 0,0 iki 1,0. Bet ką šie skaičiai iš tikrųjų reiškia? Ir kaip nustatyti sprendimų slenksčius savo programai? Ši pamoka suteiks tau raktus paversti žalius rezultatus automatiniais sprendimais – pereiti nuo matavimo prie politikos.
Visų pirma, suprask, kad „Mistral“ nepateikia šių rezultatų kaip kalibruotų tikimybių. 0,6 rezultatas nereiškia „šešių iš dešimties tikimybės, kad šis tekstas pavojingas“; tai yra stiprus klasifikatoriaus signalas. Dokumentacijoje išskiriami du naudingi dalykai. Būlio tipo categories atsakyme taiko slenksčius, kuriuos „Mistral“ pasirinko optimaliam veikimui savo vidiniame testų rinkinyje; gali naudoti juos arba pradėti nuo žalių rezultatų ir nustatyti savo. Tame testų rinkinyje kategorijų tikslumas svyruoja nuo 0,8 iki 1,0, o aprėptis – nuo 0,7 iki 1,0: pasitaiko ir klaidingų teigiamų rezultatų, ir praleisto turinio, todėl rankiniu būdu derinami slenksčiai yra svarbūs.
Toliau pateikta lentelė nėra „Mistral“ paskelbta: tai pradinė nuoroda, kurią turi patikrinti pagal savo metrikas.
| Diapazonas | Interpretacija |
|---|---|
| 0,0 – 0,1 | Akivaizdžiai saugus turinys, signalo nenustatyta |
| 0,1 – 0,3 | Silpnas signalas, galbūt nekenksmingas, bet dviprasmiškas |
| 0,3 – 0,5 | Vidutinis signalas, potencialiai problemiškas turinys |
| 0,5 – 0,7 | Stiprus signalas, labai tikėtina, kad turinys problemiškas |
| 0,7 – 1,0 | Labai stiprus signalas, akivaizdžiai pavojingas turinys |
Slenksčių nustatymas: sprendimų matrica
Slenksčio pasirinkimas yra kompromisas tarp saugumo (blokuoti kuo daugiau) ir naudojamumo (sumažinti klaidingus teigiamus rezultatus). Joks nustatymas nelaimi abiejose frontuose, ir teigti priešingai reiškia begalinį ginčijimąsi. Darbo metodas – apibrėžti tris aiškius profilius ir kiekvienai programai priskirti vieną iš jų.
Griežtas profilis skirtas vartotojų programai, kurioje gali būti nepilnamečių; subalansuotas profilis tinka B2B profesionaliai programai su identifikuotais naudotojais; leidžiamas profilis skirtas vidiniam įrankiui, kurį valdo ekspertai, žinantys, ko jie prašo.
# Trys slenksčių profiliai
PROFILES = {
"strict": {
# Vartotojų programa, galimi vaikai
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B profesionali programa
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Vidinis įrankis ekspertams
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Palygink health stulpelį visuose profiliuose: 0,2, tada 0,4, tada 0,7. Tas pats pokalbis apie dozes pirmuoju atveju bus užblokuotas, o paskutiniame – priimtas. Sprendimą lemia naudojimo kontekstas, o ne teksto pobūdis.
Daugialypė klasifikavimo sistema
Blokavimas arba priėmimas yra pernelyg supaprastintas realybės vaizdas. Tarp akivaizdžiai saugaus turinio ir akivaizdžiai taisykles pažeidžiančio turinio yra pilkoji zona, kurioje teisingas sprendimas yra rodyti turinį, bet jį pažymėti. Toliau pateikta funkcija įveda šią trečiąją būseną: viršijus slenkstį – blokuoti; viršijus 60 % slenksčio – įspėti ir registruoti; žemiau to – leisti praeiti.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Žalia: saugus turinys
WARNING = "warning" # Oranžinė: turinys, kurį reikia stebėti
BLOCKED = "blocked" # Raudona: užblokuotas turinys
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Klasifikuoja turinį į 3 rizikos lygius."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Įspėjimo zona: 60 % slenksčio
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Oranžinės zonos vertė yra tiek operacinė, tiek edukacinė: ji parodo, kas ribojasi su tavo slenksčiais. Jei kategorija generuoja daug įspėjimų, bet niekada nepereina ribos, žinai, kad kelių šimtųjų dalių korekcija perleistų didelę srauto dalį.
Pavyzdys: analizuok ir priimk sprendimą
Visas procesas susiveda į vieną funkciją: iškviesk klasifikatorių, pritaikyk profilį, priimk sprendimą. Toliau pateiktas palyginimas tarnauja kaip demonstracija – paracetamolio dozė bus užblokuota griežtame profilyje pagal health ir priimta leidžiamame profilyje, nepakeitus nei vienos teksto eilutės.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderuoja tekstą ir priima sprendimą pagal profilį."""
# Kreipimasis į moderavimo API
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Taikomi profilio slenksčiai
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Testavimas su skirtingais profiliais
text = "Take 2 paracetamol tablets every 6 hours"
# Griežtas profilis: tikėtina, bus užblokuota (health)
result_strict = moderate_and_decide(text, "strict")
# Leidžiamas profilis: tikėtina, bus priimta
result_permissive = moderate_and_decide(text, "permissive")
Dinamiškas slenksčių derinimas
Gamtinėje aplinkoje tavo slenksčiai turi evoliucionuoti, ir tu valdai tą evoliuciją naudodamas duomenis. Toliau pateiktas stebėtojas kiekvieną sprendimą įrašo į JSONL failą ir palaiko blokavimų, įspėjimų ir praleidimų skaitiklius pagal kiekvieną kategoriją. Gauta ataskaita suteikia blokavimo rodiklį pagal kategoriją – tai vienintelė metrika, kuri parodo, ar slenkstis nėra per žemas.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Renka moderavimo metrikas slenksčiams derinti."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Registruoja moderavimo sprendimą."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Atnaujinami skaitikliai
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Generuoja ataskaitą slenksčiams derinti."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Klaidos, kurių reikia vengti
Pirmoji klaida – vieno slenksčio taikymas visoms kategorijoms. Kiekviena kategorija turi savo rezultatų pasiskirstymą: 0,3 slenkstis hate_and_discrimination kategorijai reiškia ką kita nei 0,3 health kategorijai, kurioje teisėtas turinys natūraliai yra aukščiau skalėje. Derink kiekvieną kategoriją individualiai, net jei tai reiškia vienuolikos sprendimų priėmimą vietoj vieno.
Antroji klaida – klaidingų teigiamų rezultatų ignoravimas. Didelis blokavimo rodiklis griovė naudotojų pasitikėjimą daug greičiau nei pavienis incidentas, nes tai paveikia žmones, veikiančius sąžiningai. Stebėk blokavimo rodiklį pagal kategoriją ir didink slenksčius, kai duomenys tai pateisina.
Trečioji, klastingesnė klaida – sprendimų neregistravimas. Be žurnalų negalėsi informuotai derinti savo slenksčių ir grįši prie diskusijų, pagrįstų nuomonėmis. Sistemingai registruok rezultatus, taikomus slenksčius ir priimtus sprendimus – būtent šis corpus leis greitai ir neabejotinai atlikti kitą peržiūrą.
Svarbiausi punktai
- Rezultatai svyruoja nuo 0,0 iki 1,0; tai nėra kalibruotos tikimybės, ir „Mistral“ ragina nustatyti savo slenksčius
- Apibrėžk slenksčių profilius, pritaikytus tavo kontekstui (griežtas, subalansuotas, leidžiamas)
- Įdiek 3 lygių sistemą: saugu, įspėjimas, užblokuota
- Registruok visus sprendimus, kad galėtum nuolat derinti savo slenksčius
- Kiekviena kategorija reikalauja savo slenksčio – nėra vienos vertės, tinkančios viskam