11 kategorija moderacije
Na ovoj stranici
Ažurirano 3. studenoga 2026. Tablica kategorija prethodno je navodila tri nepostojeća ključa (
hate,violence,unpredictable) i izostavljaladangerous. Jedanaest ključeva u nastavku odražavamistral-moderation-2603, na temelju dokumentacije i tipova iz SDK-amistralaiverzije 3.7.0; opisi slijede Mistralove definicije. Vrijednosti izlaza prikazane kao izmjereni podaci bili su ilustrativni primjeri i sada su jasno označeni kao takvi. Izvori: Moderation & Guardrailing · Mistral Moderation 2411 (deprecated model).
Razumijevanje kategorija rizika
Model Mistral Moderation analizira sadržaj kroz 11 različitih kategorija. Svaka kategorija pokriva specifičnu vrstu rizika i vraća neovisan rezultat između 0,0 i 1,0. Ključno je točno razumjeti što svaka kategorija detektira kako bi se postavili smisleni pragovi. Bez te jasnoće samo nagađaš brojeve i pitaš se zašto se sadržaj neočekivano blokira.
Tablica u nastavku sadrži točan API ključ za svaku kategoriju, što ona obuhvaća i koje vrste slučajeva hvata u praksi.
| Kategorija | API ključ | Što Mistral uključuje |
|---|---|---|
| Seksualni sadržaj | sexual | Eksplicitno opisane ili promovirane seksualne aktivnosti, golotinja ili seksualne usluge; neeksplicitni edukativni ili medicinski sadržaj općenito je izuzet |
| Mržnja i diskriminacija | hate_and_discrimination | Predrasude, neprijateljstvo ili pozivi na diskriminaciju na temelju zaštićenih karakteristika, uključujući uznemiravanje |
| Nasilje i prijetnje | violence_and_threats | Opisano, veličano, poticano ili prijećeno fizičko nasilje te upute za njegovo počinjenje |
| Opasan sadržaj | dangerous | Izrazito opasna ponašanja s visokim rizikom od fizičke štete |
| Kaznena djela | criminal | Opisane ili promovirane ilegalne aktivnosti |
| Samoozljeđivanje | selfharm | Samoozljeđivanje, samoubojstvo, poremećaji prehrane: metode, veličanje, namjera, opasni izazovi |
| Zdravlje | health | Zahtjevi za ili pružanje detaljnih ili personaliziranih medicinskih savjeta |
| Financije | financial | Zahtjevi za ili pružanje detaljnih ili personaliziranih financijskih savjeta |
| Pravo | law | Zahtjevi za ili pružanje detaljnih ili personaliziranih pravnih savjeta |
| Osobni podaci | pii | Zahtjevi, dijeljenje ili pokušaji dobivanja identificirajućih podataka: puno ime, adresa, broj telefona, OIB, bankovni podaci |
| Jailbreak | jailbreaking | Pokušaji zaobilaženja pravila modela putem manipulacije promptom, igranja uloga ili drugih tehnika |
Kategorije dangerous, criminal i jailbreaking stigle su s modelom mistral-moderation-2603. Prethodni model, mistral-moderation-2411, stavljen izvan upotrebe 31. ožujka 2026., kombinirao je prve dvije pod jednim ključem, dangerous_and_criminal_content, i nije detektirao jailbreakove. Neki primjeri odgovora u dokumentaciji i dalje prikazuju ovu stariju podjelu: uvijek čitaj ključeve koje API vraća umjesto da ih pretpostavljaš.
„Tvrde“ naspram „mekih“ kategorija
U praksi se ovih 11 kategorija dijele u dvije skupine na temelju kritičnosti, a ta razlika pokreće cijelu tvoju strategiju pragova.
Tvrde kategorije — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal i selfharm — predstavljaju ozbiljne rizike gdje lažno negativan rezultat (propuštanje detekcije opasnog sadržaja) može imati teške posljedice. Seksualni sadržaj nosi pravni rizik i obveze zaštite maloljetnika; govor mržnje izlaže te velikoj reputacijskoj šteti i pravnoj odgovornosti; nasilje uključuje poticanje i prijetnje; kategorije opasnog i kaznenog sadržaja pokrivaju visokorizična ponašanja i ilegalne aktivnosti; samoozljeđivanje uključuje sigurnost korisnika i životno ugrožavajuće situacije. Za ovih šest kategorija niski pragovi od 0,1 do 0,2 opravdani su bez obzira na tvoj proizvod i namjerno prihvaćaš određene lažno pozitivne rezultate.
Meke kategorije snažno ovise o kontekstu tvoje aplikacije, s podesivim pragovima između 0,3 i 0,8. Legitimni medicinski chatbot mora raspravljati o health, fintech aplikacija zahtijeva razgovore pokrivene s financial, pravni asistent nužno obrađuje law, a neke aplikacije zakonski prikupljaju podatke koji spadaju pod pii. Jedan slučaj se čita drugačije: jailbreaking ne ovisi o predmetu rasprave već o namjeri manipulacije modelom i ostaje kritičan za svaku aplikaciju otvorenu javnosti.
Analiza rezultata u Pythonu
Sljedeća funkcija pretvara sirovi API poziv u čitljivu presudu: izolira kategorije koje prelaze 0,3, identificira maksimalni rezultat i njegovu kategoriju te vraća indikator safe koji možeš izravno koristiti u logici svoje aplikacije.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyze text and return risk categories."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separate risk categories
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores je opcionalan u SDK-u, stoga or {}. Pokreni oba primjera na svom računu: pozdrav bi trebao ostati vrlo nizak u svim kategorijama, dok bi pitanje o dozi trebalo skočiti na health. Ovo nije „opasan“ sadržaj u uobičajenom smislu — to je sadržaj o kojem moraš odlučiti spada li u tvoj opseg.
Višestruke kategorije: jedan tekst može okinuti nekoliko alarma
Jedan tekst može istovremeno imati visoke rezultate u više kategorija — zahtjev za pomoć u poreznoj prijevari pogodit će criminal, financial i law odjednom. Tvoja logika odlučivanja mora uzeti u obzir tu višestrukost i, iznad svega, odrediti prioritete: funkcija u nastavku sortira prekršaje prema veličini premašenog praga, govoreći ti koja je kategorija zapravo uzrokovala blokiranje.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluate global risk considering all categories."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuration by profile
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profil strict_thresholds točno slijedi logiku tvrdih i mekih kategorija opisanu gore: pragovi od 0,1 do 0,15 na šest kritičnih kategorija i jailbreak, tolerancija na 0,3 za kontekstualne domene. Zadrži ovu strukturu kao svoju početnu točku i dokumentiraj sva odstupanja koja uvedeš.
Ključne točke
mistral-moderation-2603analizira sadržaj kroz 11 kategorija s fiksnim ključevima;hate,violenceiliunpredictablene postoje- Svaka kategorija vraća rezultat od 0,0 do 1,0
- „Tvrde“ kategorije (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) zahtijevaju niske pragove - „Meke“ kategorije (health, financial, law) prilagođavaju se prema kontekstu tvoje aplikacije
- Jedan tekst može istovremeno okinuti više kategorija
- Koristi sirove rezultate (
category_scores) umjesto zadanih boolean vrijednosti