Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

11 kategorija moderacije

Lekcija 6 od 12 Ažurirano 3. studenoga 2026. Programer
Na ovoj stranici
  1. Razumijevanje kategorija rizika
  2. „Tvrde“ naspram „mekih“ kategorija
  3. Analiza rezultata u Pythonu
  4. Višestruke kategorije: jedan tekst može okinuti nekoliko alarma
  5. Ključne točke

Ažurirano 3. studenoga 2026. Tablica kategorija prethodno je navodila tri nepostojeća ključa (hate, violence, unpredictable) i izostavljala dangerous. Jedanaest ključeva u nastavku odražava mistral-moderation-2603, na temelju dokumentacije i tipova iz SDK-a mistralai verzije 3.7.0; opisi slijede Mistralove definicije. Vrijednosti izlaza prikazane kao izmjereni podaci bili su ilustrativni primjeri i sada su jasno označeni kao takvi. Izvori: Moderation & Guardrailing · Mistral Moderation 2411 (deprecated model).

Razumijevanje kategorija rizika

Model Mistral Moderation analizira sadržaj kroz 11 različitih kategorija. Svaka kategorija pokriva specifičnu vrstu rizika i vraća neovisan rezultat između 0,0 i 1,0. Ključno je točno razumjeti što svaka kategorija detektira kako bi se postavili smisleni pragovi. Bez te jasnoće samo nagađaš brojeve i pitaš se zašto se sadržaj neočekivano blokira.

Tablica u nastavku sadrži točan API ključ za svaku kategoriju, što ona obuhvaća i koje vrste slučajeva hvata u praksi.

KategorijaAPI ključŠto Mistral uključuje
Seksualni sadržajsexualEksplicitno opisane ili promovirane seksualne aktivnosti, golotinja ili seksualne usluge; neeksplicitni edukativni ili medicinski sadržaj općenito je izuzet
Mržnja i diskriminacijahate_and_discriminationPredrasude, neprijateljstvo ili pozivi na diskriminaciju na temelju zaštićenih karakteristika, uključujući uznemiravanje
Nasilje i prijetnjeviolence_and_threatsOpisano, veličano, poticano ili prijećeno fizičko nasilje te upute za njegovo počinjenje
Opasan sadržajdangerousIzrazito opasna ponašanja s visokim rizikom od fizičke štete
Kaznena djelacriminalOpisane ili promovirane ilegalne aktivnosti
SamoozljeđivanjeselfharmSamoozljeđivanje, samoubojstvo, poremećaji prehrane: metode, veličanje, namjera, opasni izazovi
ZdravljehealthZahtjevi za ili pružanje detaljnih ili personaliziranih medicinskih savjeta
FinancijefinancialZahtjevi za ili pružanje detaljnih ili personaliziranih financijskih savjeta
PravolawZahtjevi za ili pružanje detaljnih ili personaliziranih pravnih savjeta
Osobni podacipiiZahtjevi, dijeljenje ili pokušaji dobivanja identificirajućih podataka: puno ime, adresa, broj telefona, OIB, bankovni podaci
JailbreakjailbreakingPokušaji zaobilaženja pravila modela putem manipulacije promptom, igranja uloga ili drugih tehnika

Kategorije dangerous, criminal i jailbreaking stigle su s modelom mistral-moderation-2603. Prethodni model, mistral-moderation-2411, stavljen izvan upotrebe 31. ožujka 2026., kombinirao je prve dvije pod jednim ključem, dangerous_and_criminal_content, i nije detektirao jailbreakove. Neki primjeri odgovora u dokumentaciji i dalje prikazuju ovu stariju podjelu: uvijek čitaj ključeve koje API vraća umjesto da ih pretpostavljaš.

„Tvrde“ naspram „mekih“ kategorija

U praksi se ovih 11 kategorija dijele u dvije skupine na temelju kritičnosti, a ta razlika pokreće cijelu tvoju strategiju pragova.

Tvrde kategorije — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal i selfharm — predstavljaju ozbiljne rizike gdje lažno negativan rezultat (propuštanje detekcije opasnog sadržaja) može imati teške posljedice. Seksualni sadržaj nosi pravni rizik i obveze zaštite maloljetnika; govor mržnje izlaže te velikoj reputacijskoj šteti i pravnoj odgovornosti; nasilje uključuje poticanje i prijetnje; kategorije opasnog i kaznenog sadržaja pokrivaju visokorizična ponašanja i ilegalne aktivnosti; samoozljeđivanje uključuje sigurnost korisnika i životno ugrožavajuće situacije. Za ovih šest kategorija niski pragovi od 0,1 do 0,2 opravdani su bez obzira na tvoj proizvod i namjerno prihvaćaš određene lažno pozitivne rezultate.

Meke kategorije snažno ovise o kontekstu tvoje aplikacije, s podesivim pragovima između 0,3 i 0,8. Legitimni medicinski chatbot mora raspravljati o health, fintech aplikacija zahtijeva razgovore pokrivene s financial, pravni asistent nužno obrađuje law, a neke aplikacije zakonski prikupljaju podatke koji spadaju pod pii. Jedan slučaj se čita drugačije: jailbreaking ne ovisi o predmetu rasprave već o namjeri manipulacije modelom i ostaje kritičan za svaku aplikaciju otvorenu javnosti.

Analiza rezultata u Pythonu

Sljedeća funkcija pretvara sirovi API poziv u čitljivu presudu: izolira kategorije koje prelaze 0,3, identificira maksimalni rezultat i njegovu kategoriju te vraća indikator safe koji možeš izravno koristiti u logici svoje aplikacije.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores je opcionalan u SDK-u, stoga or {}. Pokreni oba primjera na svom računu: pozdrav bi trebao ostati vrlo nizak u svim kategorijama, dok bi pitanje o dozi trebalo skočiti na health. Ovo nije „opasan“ sadržaj u uobičajenom smislu — to je sadržaj o kojem moraš odlučiti spada li u tvoj opseg.

Višestruke kategorije: jedan tekst može okinuti nekoliko alarma

Jedan tekst može istovremeno imati visoke rezultate u više kategorija — zahtjev za pomoć u poreznoj prijevari pogodit će criminal, financial i law odjednom. Tvoja logika odlučivanja mora uzeti u obzir tu višestrukost i, iznad svega, odrediti prioritete: funkcija u nastavku sortira prekršaje prema veličini premašenog praga, govoreći ti koja je kategorija zapravo uzrokovala blokiranje.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profil strict_thresholds točno slijedi logiku tvrdih i mekih kategorija opisanu gore: pragovi od 0,1 do 0,15 na šest kritičnih kategorija i jailbreak, tolerancija na 0,3 za kontekstualne domene. Zadrži ovu strukturu kao svoju početnu točku i dokumentiraj sva odstupanja koja uvedeš.

Ključne točke

  • mistral-moderation-2603 analizira sadržaj kroz 11 kategorija s fiksnim ključevima; hate, violence ili unpredictable ne postoje
  • Svaka kategorija vraća rezultat od 0,0 do 1,0
  • „Tvrde“ kategorije (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) zahtijevaju niske pragove
  • „Meke“ kategorije (health, financial, law) prilagođavaju se prema kontekstu tvoje aplikacije
  • Jedan tekst može istovremeno okinuti više kategorija
  • Koristi sirove rezultate (category_scores) umjesto zadanih boolean vrijednosti