Rezultati i pragovi moderacije
Na ovoj stranici
Ažurirano 3. studenog 2026. Profili pragova prethodno su se pozivali na nepostojeće kategorije (
hate,violence,unpredictable); sada su usklađeni s jedanaest ključeva izmistral-moderation-2603, uključujućidangerous. Vodič za tumačenje rezultata dostupan je kao referenca za obuku jer Mistral ne objavljuje vlastiti. Monitor je prethodno izazivaoKeyErrorza svaku kategoriju koja nedostaje u profilu i koristio jedatetime.utcnow(), što je zastarjelo od Pythona 3.12. Izvori: Moderation & Guardrailing · datetime.utcnow.
Tumačenje rezultata moderacije
Svaka kategorija vraća rezultat između 0,0 i 1,0. Ali što ti brojevi zapravo znače? I kako postaviti pragove odlučivanja za svoju aplikaciju? Ova lekcija daje ti ključeve za pretvaranje sirovih rezultata u automatizirane odluke – prelazak s mjerenja na politiku.
Prvo, shvati da Mistral ne prikazuje ove rezultate kao kalibrirane vjerojatnosti. Rezultat od 0,6 ne znači „šansa šest od deset da je ovaj tekst opasan“; to je snažan signal klasifikatora. Dokumentacija ističe dvije korisne točke. Booleove vrijednosti categories u odgovoru primjenjuju pragove koje je Mistral odabrao za optimalne performanse na svom internom testnom skupu; možeš ih koristiti ili krenuti od sirovih rezultata i postaviti vlastite. Na tom testnom skupu preciznost kategorija kreće se od 0,8 do 1,0, a odaziv od 0,7 do 1,0: lažno pozitivni rezultati i propušteni sadržaj se događaju, zbog čega su ručno podešeni pragovi važni.
Mreža u nastavku nije objavljena od strane Mistrala: ona je početna referenca koju trebaš validirati protiv vlastitih metrika.
| Raspon | Tumačenje |
|---|---|
| 0,0 - 0,1 | Jasno siguran sadržaj, nema detektiranog signala |
| 0,1 - 0,3 | Slab signal, možda benigno, ali dvosmisleno |
| 0,3 - 0,5 | Umjeren signal, potencijalno problematičan sadržaj |
| 0,5 - 0,7 | Snažan signal, vrlo vjerojatno problematičan sadržaj |
| 0,7 - 1,0 | Vrlo snažan signal, očito opasan sadržaj |
Definiranje tvojih pragova: Matrica odlučivanja
Odabir praga je kompromis između sigurnosti (blokiranje što je više moguće) i upotrebljivosti (minimiziranje lažno pozitivnih rezultata). Nijedna postavka ne pobjeđuje na oba fronta, a tvrdnja suprotnog vodi u beskrajno natezanje. Radna metoda je definirati tri eksplicitna profila i mapirati svaku aplikaciju na jedan od njih.
Strogi profil cilja na potrošačku aplikaciju gdje mogu biti prisutni maloljetnici; uravnoteženi profil odgovara B2B profesionalnoj aplikaciji s identificiranim korisnicima; permisivni profil rezerviran je za interni alat kojim upravljaju stručnjaci koji znaju što traže.
# Tri profila pragova
PROFILES = {
"strict": {
# Potrošačka aplikacija, moguća prisutnost djece
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.1,
"dangerous": 0.1,
"criminal": 0.1,
"selfharm": 0.1,
"health": 0.2,
"financial": 0.2,
"law": 0.2,
"pii": 0.1,
"jailbreaking": 0.1,
},
"balanced": {
# B2B profesionalna aplikacija
"sexual": 0.2,
"hate_and_discrimination": 0.15,
"violence_and_threats": 0.25,
"dangerous": 0.15,
"criminal": 0.15,
"selfharm": 0.15,
"health": 0.4,
"financial": 0.4,
"law": 0.4,
"pii": 0.2,
"jailbreaking": 0.15,
},
"permissive": {
# Interni alat za stručnjake
"sexual": 0.3,
"hate_and_discrimination": 0.2,
"violence_and_threats": 0.4,
"dangerous": 0.2,
"criminal": 0.2,
"selfharm": 0.2,
"health": 0.7,
"financial": 0.7,
"law": 0.7,
"pii": 0.3,
"jailbreaking": 0.2,
},
}
Usporedi stupac health kroz profile: 0,2, zatim 0,4, zatim 0,7. Ista razmjena o doziranju bit će blokirana u prvom slučaju, a prihvaćena u posljednjem. Kontekst upotrebe odlučuje, a ne priroda teksta.
Sustav klasifikacije s više razina
Blokiranje ili prihvaćanje pojednostavljen je pogled na stvarnost. Između očito sigurnog sadržaja i očito kršećeg sadržaja leži siva zona gdje je ispravna odluka prikazati uz označavanje. Funkcija u nastavku uvodi ovo treće stanje: iznad praga, blokiraj; iznad 60% praga, upozori i zabilježi; ispod toga, pusti prolaz.
from enum import Enum
class RiskLevel(Enum):
SAFE = "safe" # Zeleno: siguran sadržaj
WARNING = "warning" # Narančasto: sadržaj za praćenje
BLOCKED = "blocked" # Crveno: blokirani sadržaj
def classify_content(scores: dict, thresholds: dict) -> dict:
"""Klasificira sadržaj u 3 razine rizika."""
blocking_violations = []
warnings = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
blocking_violations.append({
"category": category,
"score": round(score, 3)
})
elif score > threshold * 0.6:
# Zona upozorenja: 60% praga
warnings.append({
"category": category,
"score": round(score, 3)
})
if blocking_violations:
return {
"level": RiskLevel.BLOCKED,
"violations": blocking_violations,
"action": "block_and_log"
}
elif warnings:
return {
"level": RiskLevel.WARNING,
"warnings": warnings,
"action": "display_and_log"
}
else:
return {
"level": RiskLevel.SAFE,
"action": "display"
}
Vrijednost narančaste zone jednako je operativna koliko i edukativna: pokazuje ti što se približava tvojim pragovima. Ako kategorija generira mnogo upozorenja, a nikada ne prijeđe liniju, znaš da bi prilagodba od nekoliko stotinki pomaknula značajan volumen prometa.
Primjer iz prakse: Analiziraj i odluči
Sastavljanje se svodi na jednu funkciju: pozovi klasifikator, primijeni profil, donesi odluku. Usporedba u nastavku služi kao demonstracija – doziranje paracetamola blokirano je u strogom profilu pod health, a prihvaćeno u permisivnom profilu, bez promjene ijednog retka teksta.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
"""Moderira tekst i donosi odluku na temelju profila."""
# Poziv moderacijskom API-ju
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Primjena pragova profila
thresholds = PROFILES[profile]
classification = classify_content(scores, thresholds)
return {
"text": text[:80],
"profile": profile,
"raw_scores": {k: round(v, 3) for k, v in scores.items()},
"decision": classification
}
# Testiranje s različitim profilima
text = "Take 2 paracetamol tablets every 6 hours"
# Strogi profil: vjerojatno blokirano (health)
result_strict = moderate_and_decide(text, "strict")
# Permisivni profil: vjerojatno prihvaćeno
result_permissive = moderate_and_decide(text, "permissive")
Dinamičko podešavanje pragova
U proizvodnji, tvoji pragovi moraju evoluirati, a tu evoluciju usmjeravaš podacima. Monitor u nastavku zapisuje svaku odluku u JSONL datoteku i održava brojače za blokiranja, upozorenja i prolaze, kategoriju po kategoriju. Rezultirajuće izvješće daje ti stopu blokiranja po kategoriji – jedinu metrika koja ti govori je li prag prenizak.
import json
from datetime import datetime, timezone
class ModerationMonitor:
"""Prikuplja metrike moderacije za prilagodbu pragova."""
def __init__(self, log_file: str = "moderation_logs.jsonl"):
self.log_file = log_file
self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
for cat in PROFILES["balanced"].keys()}
def log_decision(self, scores: dict, thresholds: dict, decision: str):
"""Bilježi odluku o moderaciji."""
entry = {
"timestamp": datetime.now(timezone.utc).isoformat(),
"scores": scores,
"thresholds": thresholds,
"decision": decision
}
with open(self.log_file, "a") as f:
f.write(json.dumps(entry) + "\n")
# Ažuriranje brojača
for cat, threshold in thresholds.items():
score = scores.get(cat, 0.0)
self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
if score > threshold:
self.stats[cat]["blocked"] += 1
elif score > threshold * 0.6:
self.stats[cat]["warned"] += 1
else:
self.stats[cat]["passed"] += 1
def report(self) -> dict:
"""Generira izvješće za prilagodbu pragova."""
report = {}
for cat, stats in self.stats.items():
total = sum(stats.values())
if total > 0:
report[cat] = {
"block_rate": round(stats["blocked"] / total, 3),
"warning_rate": round(stats["warned"] / total, 3),
"total": total
}
return report
Zamke kojih trebaš izbjegavati
Prva zamka je jedan prag primijenjen na sve kategorije. Svaka kategorija ima svoju distribuciju rezultata: prag od 0,3 za hate_and_discrimination ne znači isto što i 0,3 za health, gdje legitimni sadržaj prirodno živi više na ljestvici. Prilagodi svaku kategoriju pojedinačno, čak i ako to znači donošenje jedanaest odluka umjesto jedne.
Druga je ignoriranje lažno pozitivnih rezultata. Visoka stopa blokiranja narušava povjerenje korisnika mnogo brže od izoliranog incidenta, jer pogađa ljude koji djeluju u dobroj namjeri. Prati stopu blokiranja po kategoriji i podigni pragove kada to podaci opravdavaju.
Treća, podmuklija, jest nebilježenje odluka. Bez zapisnika ne možeš informirano prilagoditi svoje pragove i vraćaš se na rasprave temeljene na mišljenjima. Sustavno bilježi rezultate, primijenjene pragove i donesene odluke – ovaj korpus je ono što će sljedeću reviziju učiniti brzom i neospornom.
Ključne točke
- Rezultati se kreću od 0,0 do 1,0; nisu kalibrirane vjerojatnosti, a Mistral potiče postavljanje vlastitih pragova
- Definiraj profile pragova prilagođene svom kontekstu (strogi, uravnoteženi, permisivni)
- Implementiraj sustav s 3 razine: siguran, upozorenje, blokirano
- Bilježi sve odluke kako bi kontinuirano prilagođavao svoje pragove
- Svaka kategorija zahtijeva vlastiti prag – nijedna jedinstvena vrijednost ne odgovara svima