Lähe põhisisu juurde
Eesti— Vali keel
Menüü

11 modereerimiskategooriat

Õppetund 6 / 12 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Riskikategooriate mõistmine
  2. „Karmid“ vs „pehmed“ kategooriad
  3. Skooride analüüsimine Pythonis
  4. Mitu kategooriat: üks tekst võib käivitada mitu hoiatust
  5. Peamised punktid

Uuendatud 3. novembril 2026. Kategooriate tabelis olid varem loetletud kolm olematut võtit (hate, violence, unpredictable) ja puudus dangerous. Allpool toodud üksteist võtit peegeldavad mudelit mistral-moderation-2603, tuginedes dokumentatsioonile ja tüüpidele SDK mistralai versioonis 3.7.0; kirjeldused järgivad Mistrali definitsioone. Väljundväärtused, mida esitati mõõdetud andmetena, olid illustreerivad näited ja on nüüd selgelt kui sellised märgistatud. Allikad: Moderation & Guardrailing · Mistral Moderation 2411 (iganenud mudel).

Riskikategooriate mõistmine

Mistrali modereerimismudel analüüsib sisu 11 erinevas kategoorias. Iga kategooria hõlmab kindlat riskitüüpi ja tagastab sõltumatu skoori vahemikus 0,0 kuni 1,0. On hädavajalik täpselt mõista, mida iga kategooria tuvastab, et saaksid seada asjakohaseid lävendeid. Ilma selle selguseta vaid arvad arve pealt ja imestad, miks sisu ootamatult blokeeritakse.

Allpool olev tabel toob välja iga kategooria täpse API võtme, selle hõlmavuse ja praktilised juhtumid, mida see tuvastab.

KategooriaAPI võtiMis kuulub Mistrali määratlusse
Seksuaalne sisusexualSelgelt kirjeldatud või propageeritud seksuaaltegevus, alastus või seksuaalteenused; mitteeksplitsiitne hariduslik või meditsiiniline sisu on üldjuhul lubatud
Viha ja diskrimineeriminehate_and_discriminationEelarvamused, vaenulikkus või üleskutsed diskrimineerimisele kaitstud tunnuste põhjal, sealhulgas ahistamine
Vägivald ja ähvardusedviolence_and_threatsKirjeldatud, ülistatud, õhutatud või ähvardatud füüsiline vägivald ning juhised selle toimepanemiseks
Ohtlik sisudangerousÄärmiselt ohtlik käitumine, millel on suur füüsilise kahju tekitamise risk
Kriminaalne tegevuscriminalKirjeldatud või propageeritud ebaseaduslik tegevus
EnesevigastamineselfharmEnesevigastamine, enesetapp, söömishäired: meetodid, ülistamine, kavatsus, ohtlikud väljakutsed
TervishealthÜksikasjaliku või isikupärase meditsiinilise nõu küsimine või andmine
RahandusfinancialÜksikasjaliku või isikupärase finantsnõu küsimine või andmine
ÕiguslawÜksikasjaliku või isikupärase õigusnõu küsimine või andmine
IsikuandmedpiiIdentifitseerimisandmete küsimine, jagamine või hankimiskatsed: ees- ja perekonnanimi, aadress, telefoninumber, isikukood, pangarekvisiidid
JailbreakjailbreakingKatsed mööda minna mudeli reeglitest kasutades vihje manipuleerimist, rollimängu või muid tehnikaid

Kategooriad dangerous, criminal ja jailbreaking lisandusid mudeliga mistral-moderation-2603. Eelmine mudel, mistral-moderation-2411, mis tunnistati iganenuks 31. märtsil 2026, liitis kaks esimest ühe võtme dangerous_and_criminal_content alla ja ei tuvastanud jailbreake. Mõned dokumentatsiooni vastusenäited näitavad endiselt seda vanemat jaotust: loe alati API tagastatavaid võtmeid, mitte ära eelda neid.

„Karmid“ vs „pehmed“ kategooriad

Praktikas jagunevad need 11 kategooriat kahte rühma vastavalt kriitilisusele ja see eristus määrab kogu sinu lävendistrateegia.

Karmid kategooriad — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal ja selfharm — tähistavad tõsiseid riske, kus vale negatiivne tulemus (ohtliku sisu tuvastamata jätmine) võib kaasa tuua rasked tagajärjed. Seksuaalne sisu toob kaasa juriidilisi riske ja kohustust kaitsta alaealisi; vihakõne seab sind silmitsi suure mainekahju ja juriidilise vastutusega; vägivald hõlmab õhutamist ja ähvardusi; ohtliku ja kriminaalse sisu kategooriad katavad suure riskiga käitumist ja ebaseaduslikku tegevust; enesevigastamine puudutab kasutaja turvalisust ja eluohtlikke olukordi. Nende kuue kategooria puhul on madalad lävendid 0,1 kuni 0,2 põhjendatud sõltumata sinu tootest ja sa võtad teadlikult vastu mõned valed positiivsed tulemused.

Pehmed kategooriad sõltuvad tugevalt sinu rakenduse kontekstist, nende kohandatavad lävendid jäävad vahemikku 0,3 kuni 0,8. Legitiimsel meditsiinilisel vestlusrobotil on vaja arutada teemat health, fintech-rakendus nõuab vestlusi, mida hõlmab financial, õigusabi assistent tegeleb paratamatult teemaga law ja mõned rakendused koguvad seaduslikult andmeid, mis kuuluvad kategooriasse pii. Üks juhtum erineb: jailbreaking ei sõltu teema sisust, vaid kavatsusest mudelit manipuleerida, ja jääb kriitiliseks iga avalikkusele avatud rakenduse jaoks.

Skooride analüüsimine Pythonis

Järgnev funktsioon teisendab toore API päringu loetavaks otsuseks: see eraldab kategooriad, mille skoor ületab 0,3, tuvastab maksimaalse skoori ja selle kategooria ning tagastab indikaatori safe, mida saad otse oma rakenduse loogikas kasutada.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analüüsi teksti ja tagasta riskikategooriad."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Eralda riskikategooriad
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores on SDK-s valikuline, seetõttu or {}. Käivita mõlemad näited oma kontol: tervitus peaks jääma kõikjal väga madalaks, samas kui annuse küsimus peaks tõusma kategoorias health. See ei ole „ohtlik“ sisu tavapärases mõttes – see on sisu, mille puhul pead otsustama, kas see kuulub sinu vastutusvaldkonda.

Mitu kategooriat: üks tekst võib käivitada mitu hoiatust

Üksainus tekst võib samaaegselt saada kõrgeid skoore mitmes kategoorias – näiteks maksupettusega seotud abi palumine tabab korraga kategooriaid criminal, financial ja law. Sinu otsustusloogika peab arvestama selle mitmekordsusega ja ennekõike seadma prioriteete: allpool olev funktsioon sorteerib rikkumised lävendi ületamise suuruse järgi, öeldes sulle, milline kategooria tegelikult blokeerimise põhjustas.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Hinda globaalset riski, võttes arvesse kõiki kategooriaid."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Konfiguratsioon profiili järgi
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profiil strict_thresholds järgib täpselt eespool kirjeldatud karmide ja pehmete kategooriate loogikat: lävendid 0,1 kuni 0,15 kuuele kriitilisele kategooriale ja jailbreakile, tolerants 0,3 kontekstipõhistele domeenidele. Hoia seda struktuuri oma lähtepunktina ja dokumenteeri kõik kõrvalekalded, mida sisse tood.

Peamised punktid

  • mistral-moderation-2603 analüüsib sisu 11 kategoorias fikseeritud võtmetega; hate, violence või unpredictable ei eksisteeri
  • Iga kategooria tagastab skoori vahemikus 0,0 kuni 1,0
  • „Karmid“ kategooriad (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) nõuavad madalaid lävendeid
  • „Pehmed“ kategooriad (health, financial, law) kohanduvad vastavalt sinu rakenduse kontekstile
  • Üks tekst võib samaaegselt käivitada mitu kategooriat
  • Kasuta tooreid skoore (category_scores) vaikimisi booleväärtuste asemel