Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Rezultati i pragovi moderacije

Lekcija 7 od 12 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Tumačenje rezultata moderacije
  2. Definiranje tvojih pragova: Matrica odlučivanja
  3. Sustav klasifikacije s više razina
  4. Primjer iz prakse: Analiziraj i odluči
  5. Dinamičko podešavanje pragova
  6. Zamke kojih trebaš izbjegavati
  7. Ključne točke

Ažurirano 3. studenog 2026. Profili pragova prethodno su se pozivali na nepostojeće kategorije (hate, violence, unpredictable); sada su usklađeni s jedanaest ključeva iz mistral-moderation-2603, uključujući dangerous. Vodič za tumačenje rezultata dostupan je kao referenca za obuku jer Mistral ne objavljuje vlastiti. Monitor je prethodno izazivao KeyError za svaku kategoriju koja nedostaje u profilu i koristio je datetime.utcnow(), što je zastarjelo od Pythona 3.12. Izvori: Moderation & Guardrailing · datetime.utcnow.

Tumačenje rezultata moderacije

Svaka kategorija vraća rezultat između 0,0 i 1,0. Ali što ti brojevi zapravo znače? I kako postaviti pragove odlučivanja za svoju aplikaciju? Ova lekcija daje ti ključeve za pretvaranje sirovih rezultata u automatizirane odluke – prelazak s mjerenja na politiku.

Prvo, shvati da Mistral ne prikazuje ove rezultate kao kalibrirane vjerojatnosti. Rezultat od 0,6 ne znači „šansa šest od deset da je ovaj tekst opasan“; to je snažan signal klasifikatora. Dokumentacija ističe dvije korisne točke. Booleove vrijednosti categories u odgovoru primjenjuju pragove koje je Mistral odabrao za optimalne performanse na svom internom testnom skupu; možeš ih koristiti ili krenuti od sirovih rezultata i postaviti vlastite. Na tom testnom skupu preciznost kategorija kreće se od 0,8 do 1,0, a odaziv od 0,7 do 1,0: lažno pozitivni rezultati i propušteni sadržaj se događaju, zbog čega su ručno podešeni pragovi važni.

Mreža u nastavku nije objavljena od strane Mistrala: ona je početna referenca koju trebaš validirati protiv vlastitih metrika.

RasponTumačenje
0,0 - 0,1Jasno siguran sadržaj, nema detektiranog signala
0,1 - 0,3Slab signal, možda benigno, ali dvosmisleno
0,3 - 0,5Umjeren signal, potencijalno problematičan sadržaj
0,5 - 0,7Snažan signal, vrlo vjerojatno problematičan sadržaj
0,7 - 1,0Vrlo snažan signal, očito opasan sadržaj

Definiranje tvojih pragova: Matrica odlučivanja

Odabir praga je kompromis između sigurnosti (blokiranje što je više moguće) i upotrebljivosti (minimiziranje lažno pozitivnih rezultata). Nijedna postavka ne pobjeđuje na oba fronta, a tvrdnja suprotnog vodi u beskrajno natezanje. Radna metoda je definirati tri eksplicitna profila i mapirati svaku aplikaciju na jedan od njih.

Strogi profil cilja na potrošačku aplikaciju gdje mogu biti prisutni maloljetnici; uravnoteženi profil odgovara B2B profesionalnoj aplikaciji s identificiranim korisnicima; permisivni profil rezerviran je za interni alat kojim upravljaju stručnjaci koji znaju što traže.

# Tri profila pragova
PROFILES = {
    "strict": {
        # Potrošačka aplikacija, moguća prisutnost djece
        "sexual": 0.1,
        "hate_and_discrimination": 0.1,
        "violence_and_threats": 0.1,
        "dangerous": 0.1,
        "criminal": 0.1,
        "selfharm": 0.1,
        "health": 0.2,
        "financial": 0.2,
        "law": 0.2,
        "pii": 0.1,
        "jailbreaking": 0.1,
    },
    "balanced": {
        # B2B profesionalna aplikacija
        "sexual": 0.2,
        "hate_and_discrimination": 0.15,
        "violence_and_threats": 0.25,
        "dangerous": 0.15,
        "criminal": 0.15,
        "selfharm": 0.15,
        "health": 0.4,
        "financial": 0.4,
        "law": 0.4,
        "pii": 0.2,
        "jailbreaking": 0.15,
    },
    "permissive": {
        # Interni alat za stručnjake
        "sexual": 0.3,
        "hate_and_discrimination": 0.2,
        "violence_and_threats": 0.4,
        "dangerous": 0.2,
        "criminal": 0.2,
        "selfharm": 0.2,
        "health": 0.7,
        "financial": 0.7,
        "law": 0.7,
        "pii": 0.3,
        "jailbreaking": 0.2,
    },
}

Usporedi stupac health kroz profile: 0,2, zatim 0,4, zatim 0,7. Ista razmjena o doziranju bit će blokirana u prvom slučaju, a prihvaćena u posljednjem. Kontekst upotrebe odlučuje, a ne priroda teksta.

Sustav klasifikacije s više razina

Blokiranje ili prihvaćanje pojednostavljen je pogled na stvarnost. Između očito sigurnog sadržaja i očito kršećeg sadržaja leži siva zona gdje je ispravna odluka prikazati uz označavanje. Funkcija u nastavku uvodi ovo treće stanje: iznad praga, blokiraj; iznad 60% praga, upozori i zabilježi; ispod toga, pusti prolaz.

from enum import Enum

class RiskLevel(Enum):
    SAFE = "safe"          # Zeleno: siguran sadržaj
    WARNING = "warning"    # Narančasto: sadržaj za praćenje
    BLOCKED = "blocked"    # Crveno: blokirani sadržaj

def classify_content(scores: dict, thresholds: dict) -> dict:
    """Klasificira sadržaj u 3 razine rizika."""
    blocking_violations = []
    warnings = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)

        if score > threshold:
            blocking_violations.append({
                "category": category,
                "score": round(score, 3)
            })
        elif score > threshold * 0.6:
            # Zona upozorenja: 60% praga
            warnings.append({
                "category": category,
                "score": round(score, 3)
            })

    if blocking_violations:
        return {
            "level": RiskLevel.BLOCKED,
            "violations": blocking_violations,
            "action": "block_and_log"
        }
    elif warnings:
        return {
            "level": RiskLevel.WARNING,
            "warnings": warnings,
            "action": "display_and_log"
        }
    else:
        return {
            "level": RiskLevel.SAFE,
            "action": "display"
        }

Vrijednost narančaste zone jednako je operativna koliko i edukativna: pokazuje ti što se približava tvojim pragovima. Ako kategorija generira mnogo upozorenja, a nikada ne prijeđe liniju, znaš da bi prilagodba od nekoliko stotinki pomaknula značajan volumen prometa.

Primjer iz prakse: Analiziraj i odluči

Sastavljanje se svodi na jednu funkciju: pozovi klasifikator, primijeni profil, donesi odluku. Usporedba u nastavku služi kao demonstracija – doziranje paracetamola blokirano je u strogom profilu pod health, a prihvaćeno u permisivnom profilu, bez promjene ijednog retka teksta.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def moderate_and_decide(text: str, profile: str = "balanced") -> dict:
    """Moderira tekst i donosi odluku na temelju profila."""
    # Poziv moderacijskom API-ju
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )
    scores = response.results[0].category_scores or {}

    # Primjena pragova profila
    thresholds = PROFILES[profile]
    classification = classify_content(scores, thresholds)

    return {
        "text": text[:80],
        "profile": profile,
        "raw_scores": {k: round(v, 3) for k, v in scores.items()},
        "decision": classification
    }

# Testiranje s različitim profilima
text = "Take 2 paracetamol tablets every 6 hours"

# Strogi profil: vjerojatno blokirano (health)
result_strict = moderate_and_decide(text, "strict")

# Permisivni profil: vjerojatno prihvaćeno
result_permissive = moderate_and_decide(text, "permissive")

Dinamičko podešavanje pragova

U proizvodnji, tvoji pragovi moraju evoluirati, a tu evoluciju usmjeravaš podacima. Monitor u nastavku zapisuje svaku odluku u JSONL datoteku i održava brojače za blokiranja, upozorenja i prolaze, kategoriju po kategoriju. Rezultirajuće izvješće daje ti stopu blokiranja po kategoriji – jedinu metrika koja ti govori je li prag prenizak.

import json
from datetime import datetime, timezone

class ModerationMonitor:
    """Prikuplja metrike moderacije za prilagodbu pragova."""

    def __init__(self, log_file: str = "moderation_logs.jsonl"):
        self.log_file = log_file
        self.stats = {cat: {"blocked": 0, "warned": 0, "passed": 0}
                     for cat in PROFILES["balanced"].keys()}

    def log_decision(self, scores: dict, thresholds: dict, decision: str):
        """Bilježi odluku o moderaciji."""
        entry = {
            "timestamp": datetime.now(timezone.utc).isoformat(),
            "scores": scores,
            "thresholds": thresholds,
            "decision": decision
        }
        with open(self.log_file, "a") as f:
            f.write(json.dumps(entry) + "\n")

        # Ažuriranje brojača
        for cat, threshold in thresholds.items():
            score = scores.get(cat, 0.0)
            self.stats.setdefault(cat, {"blocked": 0, "warned": 0, "passed": 0})
            if score > threshold:
                self.stats[cat]["blocked"] += 1
            elif score > threshold * 0.6:
                self.stats[cat]["warned"] += 1
            else:
                self.stats[cat]["passed"] += 1

    def report(self) -> dict:
        """Generira izvješće za prilagodbu pragova."""
        report = {}
        for cat, stats in self.stats.items():
            total = sum(stats.values())
            if total > 0:
                report[cat] = {
                    "block_rate": round(stats["blocked"] / total, 3),
                    "warning_rate": round(stats["warned"] / total, 3),
                    "total": total
                }
        return report

Zamke kojih trebaš izbjegavati

Prva zamka je jedan prag primijenjen na sve kategorije. Svaka kategorija ima svoju distribuciju rezultata: prag od 0,3 za hate_and_discrimination ne znači isto što i 0,3 za health, gdje legitimni sadržaj prirodno živi više na ljestvici. Prilagodi svaku kategoriju pojedinačno, čak i ako to znači donošenje jedanaest odluka umjesto jedne.

Druga je ignoriranje lažno pozitivnih rezultata. Visoka stopa blokiranja narušava povjerenje korisnika mnogo brže od izoliranog incidenta, jer pogađa ljude koji djeluju u dobroj namjeri. Prati stopu blokiranja po kategoriji i podigni pragove kada to podaci opravdavaju.

Treća, podmuklija, jest nebilježenje odluka. Bez zapisnika ne možeš informirano prilagoditi svoje pragove i vraćaš se na rasprave temeljene na mišljenjima. Sustavno bilježi rezultate, primijenjene pragove i donesene odluke – ovaj korpus je ono što će sljedeću reviziju učiniti brzom i neospornom.

Ključne točke

  • Rezultati se kreću od 0,0 do 1,0; nisu kalibrirane vjerojatnosti, a Mistral potiče postavljanje vlastitih pragova
  • Definiraj profile pragova prilagođene svom kontekstu (strogi, uravnoteženi, permisivni)
  • Implementiraj sustav s 3 razine: siguran, upozorenje, blokirano
  • Bilježi sve odluke kako bi kontinuirano prilagođavao svoje pragove
  • Svaka kategorija zahtijeva vlastiti prag – nijedna jedinstvena vrijednost ne odgovara svima