Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

11 kategorij moderiranja

Lekcija 6 od 12 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Razumevanje kategorij tveganja
  2. „Trde” proti „mehkim” kategorijam
  3. Analiza ocen v Pythonu
  4. Več kategorij: Eno besedilo lahko sproži več opozoril
  5. Ključne ugotovitve

Posodobljeno 3. novembra 2026. Tabela kategorij je prej navajala tri neobstoječe ključe (hate, violence, unpredictable) in izpuščala dangerous. Enajst spodnjih ključev odraža model mistral-moderation-2603, temelji na dokumentaciji in tipih iz SDK-ja mistralai različice 3.7.0; opisi sledijo Mistralovim definicijam. Predstavljene izhodne vrednosti kot izmerjeni podatki so bili ilustrativni primeri in so zdaj jasno označeni kot taki. Viri: Moderation & Guardrailing · Mistral Moderation 2411 (opuščen model).

Razumevanje kategorij tveganja

Model Mistral Moderation analizira vsebino skozi 11 različnih kategorij. Vsaka kategorija zajema specifično vrsto tveganja in vrne neodvisno oceno med 0,0 in 1,0. Natančno razumevanje tega, kaj vsaka kategorija zazna, je ključno za določanje smiselnih pragov. Brez te jasnosti le ugibaš številke in se sprašuješ, zakaj je bila vsebina nepričakovano blokirana.

Spodnja tabela navaja točen ključ API-ja za vsako kategorijo, kaj zajema in kakšne vrste primerov zazna v praksi.

KategorijaKljuč API-jaKaj Mistral vključuje
Spolna vsebinasexualIzrecno opisane ali promovirane spolne dejavnosti, golota ali spolne storitve; neizrecna izobraževalna ali medicinska vsebina je običajno izvzeta
Sovraštvo in diskriminacijahate_and_discriminationPredsodki, sovražnost ali pozivi k diskriminaciji na podlagi zaščitenih značilnosti, vključno z nadlegovanjem
Nasilje in grožnjeviolence_and_threatsOpisano, poveličevano, spodbujano ali groženo fizično nasilje ter navodila za njegovo izvršitev
Nevarna vsebinadangerousIzjemno nevarna vedenja z visokim tveganjem za fizično škodo
Kazniva dejanjacriminalOpisane ali promovirane nezakonite dejavnosti
SamopoškodovanjeselfharmSamopoškodovanje, samomor, motnje hranjenja: metode, poveličevanje, namen, nevarni izzivi
ZdravjehealthZahteve po ali zagotavljanje podrobnih ali personaliziranih zdravstvenih nasvetov
FinancefinancialZahteve po ali zagotavljanje podrobnih ali personaliziranih finančnih nasvetov
PravolawZahteve po ali zagotavljanje podrobnih ali personaliziranih pravnih nasvetov
Osebni podatkipiiZahteve, deljenje ali poskusi pridobitve identifikacijskih podatkov: polno ime, naslov, telefonska številka, davčna številka, bančni podatki
Preboj zaščitejailbreakingPoskusi obida pravil modela prek manipulacije pozivov, igranja vlog ali drugih tehnik

Kategoriji dangerous, criminal in jailbreaking sta se pojavili z modelom mistral-moderation-2603. Prejšnji model, mistral-moderation-2411, opuščen 31. marca 2026, je prvi dve združeval pod enim ključem, dangerous_and_criminal_content, in ni zaznaval prebojev zaščite (jailbreak). Nekateri primeri odgovorov v dokumentaciji še vedno prikazujejo to starejšo razčlenitev: vedno preberi ključe, ki jih vrne API, namesto da bi jih predpostavljal.

„Trde” proti „mehkim” kategorijam

V praksi se teh 11 kategorij deli v dve skupini glede na kritičnost, in ta razlika poganja tvojo celotno strategijo pragov.

Trde kategorije — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal in selfharm — predstavljajo resna tveganja, kjer ima lažno negativen rezultat (neuspeh pri zaznavi nevarne vsebine) lahko hude posledice. Spolna vsebina prinaša pravna tveganja in obveznosti zaščite mladoletnikov; govor sovraštva te izpostavlja veliki škodi za ugled in pravni odgovornosti; nasilje vključuje spodbujanje in grožnje; kategoriji nevarno in kaznivo zajemata visokorizična vedenja in nezakonite dejavnosti; samopoškodovanje vključuje varnost uporabnikov in življenjsko ogrožajoče situacije. Za teh šest kategorij so nizki pragovi od 0,1 do 0,2 upravičeni ne glede na tvoj izdelek in namerno sprejemaš nekaj lažno pozitivnih rezultatov.

Mehke kategorije so močno odvisne od konteksta tvoje aplikacije, s prilagodljivimi pragovi med 0,3 in 0,8. Legitimen medicinski klepetalni bot mora razpravljati o health, fintech aplikacija zahteva pogovore, zajete v financial, pravni pomočnik nujno obravnava law, nekatere aplikacije pa zakonito zbirajo podatke, ki spadajo pod pii. En primer se bere drugače: jailbreaking ni odvisen od predmeta, temveč od namena manipulacije z modelom in ostaja kritičen za vsako aplikacijo, odprto za javnost.

Analiza ocen v Pythonu

Naslednja funkcija pretvori surov klic API-ja v berljivo sodbo: izolira kategorije, ki presegajo 0,3, identificira največjo oceno in njeno kategorijo ter vrne indikator safe, ki ga lahko neposredno uporabiš v logiki svoje aplikacije.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analiziraj besedilo in vrni kategorije tveganja."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Loči kategorije tveganja
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores je v SDK-ju opcijski, zato or {}. Zaženi oba primera na svojem računu: pozdrav bi moral ostati zelo nizek povsod, medtem ko bi vprašanje o odmerku moralo poskočiti pri health. To ni „nevarna” vsebina v splošnem smislu – to je vsebina, za katero se moraš sam odločiti, ali spada v tvoje področje.

Več kategorij: Eno besedilo lahko sproži več opozoril

Eno samo besedilo ima lahko visoke ocene v več kategorijah hkrati – zahteva po pomoči pri davčni goljufiji bo hkrati zadela criminal, financial in law. Tvoja odločitvena logika mora upoštevati to večplastnost in predvsem določiti prioritete: spodnja funkcija razvrsti kršitve glede na velikost presega praga in ti pove, katera kategorija je dejansko povzročila blokado.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Ocenite globalno tveganje ob upoštevanju vseh kategorij."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Konfiguracija po profilu
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profil strict_thresholds natančno sledi zgornji logiki trdih in mehkih kategorij: pragovi od 0,1 do 0,15 za šest kritičnih kategorij in preboj zaščite, toleranca pri 0,3 za kontekstualna področja. To strukturo obdrži kot izhodišče in dokumentiraj vsa odstopanja, ki jih uvedeš.

Ključne ugotovitve

  • mistral-moderation-2603 analizira vsebino skozi 11 kategorij s fiksnimi ključi; hate, violence ali unpredictable ne obstajajo
  • Vsaka kategorija vrne oceno od 0,0 do 1,0
  • „Trde” kategorije (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) zahtevajo nizke pragove
  • „Mehke” kategorije (health, financial, law) se prilagajajo glede na kontekst tvoje aplikacije
  • Eno besedilo lahko hkrati sproži več kategorij
  • Uporabi surove ocene (category_scores) namesto privzetih boolovih vrednosti