Salt la conținutul principal
Română— Alege o limbă
Meniu

Scoruri și praguri de moderare

Lecția 7 din 12 Actualizată 3 noiembrie 2026 Dezvoltator
Pe această pagină
  1. Interpretarea scorurilor de moderare
  2. Definirea pragurilor: Matricea de decizie
  3. Sistem de clasificare pe mai multe niveluri
  4. Exemplu practic: Analizați și decideți
  5. Ajustarea dinamică a pragurilor
  6. Capcane de evitat
  7. Puncte cheie

Actualizat pe 3 noiembrie 2026. Profilurile de prag făceau anterior referire la categorii inexistente (hate, violence, unpredictable); acum sunt aliniate cu cele unsprezece chei din mistral-moderation-2603, inclusiv dangerous. Ghidul de interpretare a scorurilor este oferit ca referință de formare, deoarece Mistral nu publică unul. Monitorul ridica anterior o eroare KeyError pentru orice categorie lipsă din profil și folosea datetime.utcnow(), care este depreciată din Python 3.12. Surse: Moderation & Guardrailing · datetime.utcnow.

Interpretarea scorurilor de moderare

Fiecare categorie returnează un scor cuprins între 0,0 și 1,0. Dar ce înseamnă exact aceste numere? Și cum stabiliți pragurile de decizie pentru aplicația dumneavoastră? Această lecție vă oferă cheile pentru a transforma scorurile brute în decizii automate—trecând de la măsurătoare la politică.

În primul rând, trebuie să înțelegeți că Mistral nu prezintă aceste scoruri ca probabilități calibrate. Un scor de 0,6 nu înseamnă „șanse de șase din zece ca acest text să fie periculos“; este un semnal puternic din partea clasificatorului. Documentația evidențiază două aspecte utile. Valorile booleene categories din răspuns aplică praguri alese de Mistral pentru o performanță optimă pe setul său intern de teste; le puteți utiliza sau puteți porni de la scorurile brute pentru a le seta pe ale dumneavoastră. Pe acel set de teste, precizia categoriilor variază între 0,8 și 1,0, iar rechemarea (recall) între 0,7 și 1,0: apar atât fals pozitive, cât și conținut ratat, motiv pentru care pragurile ajustate manual contează.

Grila de mai jos nu este publicată de Mistral: este o referință de pornire pe care trebuie să o validați în funcție de propriile metrici.

IntervalInterpretare
0,0 - 0,1Conținut clar sigur, niciun semnal detectat
0,1 - 0,3Semnal slab, posibil benign, dar ambiguu
0,3 - 0,5Semnal moderat, conținut potențial problematic
0,5 - 0,7Semnal puternic, conținut foarte probabil problematic
0,7 - 1,0Semnal foarte puternic, conținut manifest periculos

Definirea pragurilor: Matricea de decizie

Alegerea unui prag reprezintă un compromis între siguranță (blocarea cât mai multor elemente) și utilizabilitate (minimizarea falselor pozitive). Nicio setare nu câștigă pe ambele fronturi, iar afirmarea contrariului duce la discuții interminabile. Metoda de lucru constă în definirea a trei profiluri explicite și maparea fiecărei aplicații la unul dintre ele.

Profilul strict vizează o aplicație de consum unde pot fi prezenți minori; profilul echilibrat se potrivește unei aplicații profesionale B2B cu utilizatori identificați; profilul permisiv este rezervat unui instrument intern gestionat de experți care știu ce solicită.

# Trei profiluri de prag
PROFILES = {
    "strict": {
        # Aplicație de consum, posibili copii
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # Aplicație profesională B2B
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Instrument intern pentru experți
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Comparați coloana health între profiluri: 0,2, apoi 0,4, apoi 0,7. Același schimb despre dozaj va fi blocat în primul caz și acceptat în ultimul. Contextul de utilizare decide, nu natura textului.

Sistem de clasificare pe mai multe niveluri

Blocarea sau acceptarea este o vedere simplistă a realității. Între conținutul manifest sigur și conținutul manifest încălcător se află o zonă gri unde decizia corectă este afișarea cu semnalizare. Funcția de mai jos introduce această a treia stare: peste prag, blocați; peste 60% din prag, avertizați și înregistrați în jurnal; sub aceasta, lăsați să treacă.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Verde: conținut sigur
    WARNING = "warning"    # Portocaliu: conținut de monitorizat
    BLOCKED = "blocked"    # Roșu: conținut blocat

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Clasifică conținutul în 3 niveluri de risc."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Zonă de avertizare: 60% din prag
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Valoarea zonei portocalii este la fel de mult operațională cât și educativă: vă arată ce se află la limita pragurilor dumneavoastră. Dacă o categorie generează multe avertizări fără a depăși niciodată linia, știți că o ajustare de câteva sutimi ar deplasa un volum semnificativ de trafic.

Exemplu practic: Analizați și decideți

Ansamblul se reduce la o singură funcție: apelați clasificatorul, aplicați profilul, luați decizia. Comparația de mai jos servește ca demonstrație—o doză de paracetamol este blocată în profilul strict sub health și acceptată în profilul permisiv, fără ca niciun rând de text să se schimbe.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderează textul și ia o decizie pe baza profilului."""
    # Apel către API-ul de moderare
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Aplică pragurile profilului
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Test cu diferite profiluri
text = "Take 2 paracetamol tablets every 6 hours"

# Profil strict: probabil blocat (health)
result_strict = moderate_and_decide(text, "strict")

# Profil permisiv: probabil acceptat
result_permissive = moderate_and_decide(text, "permissive")

Ajustarea dinamică a pragurilor

În producție, pragurile dumneavoastră trebuie să evolueze, iar dumneavoastră ghidați această evoluție prin date. Monitorul de mai jos scrie fiecare decizie într-un fișier JSONL și menține contoare pentru blocări, avertizări și treceri, categorie cu categorie. Raportul rezultat vă oferă o rată de blocare per categorie—singura metrică care vă spune dacă un prag este prea scăzut.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Colectează metrici de moderare pentru ajustarea pragurilor."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Înregistrează o decizie de moderare."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Actualizează contoarele
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generează un raport pentru ajustarea pragurilor."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Capcane de evitat

Prima capcană este un singur prag aplicat tuturor categoriilor. Fiecare categorie are propria distribuție de scoruri: un prag de 0,3 pentru hate_and_discrimination nu înseamnă același lucru ca 0,3 pentru health, unde conținutul legitim se situează în mod natural mai sus pe scală. Ajustați fiecare categorie individual, chiar dacă asta înseamnă să luați unsprezece decizii în loc de una.

A doua este ignorarea falselor pozitive. O rată mare de blocare erodează încrederea utilizatorilor mult mai rapid decât un incident izolat, deoarece afectează persoanele care acționează cu bună-credință. Urmăriți rata de blocare pe categorii și ridicați pragurile atunci când datele justifică acest lucru.

A treia, mai insidioasă, este eșecul de a înregistra deciziile în jurnale. Fără jurnale, nu vă puteți ajusta pragurile în mod informat și reveniți la discuții bazate pe opinii. Înregistrați sistematic scorurile, pragurile aplicate și deciziile luate—acest corpus este ceea ce va face următoarea revizuire rapidă și incontestabilă.

Puncte cheie

  • Scorurile variază de la 0,0 la 1,0; nu sunt probabilități calibrate, iar Mistral încurajează stabilirea propriilor praguri
  • Definiți profiluri de prag adaptate contextului dumneavoastră (strict, echilibrat, permisiv)
  • Implementați un sistem pe 3 niveluri: sigur, avertizare, blocat
  • Înregistrați în jurnal toate deciziile pentru a vă ajusta continuu pragurile
  • Fiecare categorie necesită propriul prag—nicio valoare unică nu se potrivește tuturor