Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

11 luokituskategoriaa

Oppitunti 6 / 12 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Riskikategorioiden ymmärtäminen
  2. ”Kovat” vs. “pehmeät” kategoriat
  3. Pisteiden analysointi Pythonilla
  4. Useat kategoriat: yksi teksti voi laukaista useita hälytyksiä
  5. Keskeiset asiat

Päivitetty 3. marraskuuta 2026. Aiemmassa kategoriataulukossa lueteltiin kolme olematonta avainta (hate, violence, unpredictable) ja dangerous puuttui. Alla olevat yksitoista avainta vastaavat mallia mistral-moderation-2603, perustuen dokumentaatioon ja tyyppeihin SDK:ssa mistralai versio 3.7.0; kuvaukset noudattavat Mistralin määritelmiä. Esitetyt mittausarvot olivat havainnollistavia esimerkkejä ja on nyt merkitty selkeästi sellaisiksi. Lähteet: Moderation & Guardrailing · Mistral Moderation 2411 (vanhentunut malli).

Riskikategorioiden ymmärtäminen

Mistral Moderation -malli analysoi sisältöä 11 eri kategorian kautta. Jokainen kategoria kattaa tietyn riskityypin ja palauttaa itsenäisen pistemäärän välillä 0,0–1,0. On välttämätöntä ymmärtää tarkasti, mitä kukin kategoria havaitsee, jotta voit asettaa mielekkäitä kynnysarvoja. Ilman tätä selkeyttä vain arvailet lukuja ja ihmettelet, miksi sisältöä estetään odottamatta.

Alla olevassa taulukossa on kunkin kategorian tarkka API-avain, sen kattavuus ja käytännössä havaittavat tapaukset.

KategoriaAPI-avainMitä Mistral sisältää
Seksuaalinen sisältösexualSelkeästi kuvatut tai mainostetut seksuaaliset toiminnot, alastomuus tai seksipalvelut; ei-seksuaalinen opetuksellinen tai lääketieteellinen sisältö on yleensä vapautettu
Viha ja syrjintähate_and_discriminationEnnakkoluulot, vihamielisyys tai kehotukset syrjintään suojeltujen ominaisuuksien perusteella, mukaan lukien häirintä
Väkivalta ja uhkauksetviolence_and_threatsKuvatut, ylistetyt, yllytetyt tai uhatut fyysiset väkivallanteot sekä ohjeet niiden tekemiseen
Vaarallinen sisältödangerousErittäin vaaralliset toiminnat, joissa on suuri fyysisen vahingon riski
Rikollinen toimintacriminalKuvatut tai mainostetut laittomat toiminnot
ItsevahingoittaminenselfharmItsevahingoittaminen, itsemurha, syömishäiriöt: menetelmät, ylistäminen, aikomus, vaaralliset haasteet
TerveyshealthYksityiskohtaisten tai henkilökohtaisten lääketieteellisten neuvojen pyytäminen tai antaminen
RahoitusfinancialYksityiskohtaisten tai henkilökohtaisten taloudellisten neuvojen pyytäminen tai antaminen
LakilawYksityiskohtaisten tai henkilökohtaisten oikeudellisten neuvojen pyytäminen tai antaminen
HenkilötiedotpiiTunnistettavien tietojen pyytäminen, jakaminen tai yritys hankkia niitä: koko nimi, osoite, puhelinnumero, henkilötunnus, pankkitiedot
JailbreakjailbreakingYritykset kiertää mallin sääntöjä kehotteiden manipuloinnilla, roolipeleillä tai muilla tekniikoilla

Kategoriat dangerous, criminal ja jailbreaking tulivat käyttöön mallin mistral-moderation-2603 myötä. Edellinen malli, mistral-moderation-2411, joka vanheni 31. maaliskuuta 2026, yhdisti kaksi ensimmäistä yhdeksi avaimeksi, dangerous_and_criminal_content, eikä havainnut jailbreakejä. Jotkin dokumentaation vastausesimerkit näyttävät edelleen tätä vanhempaa jakoa: lue aina API:n palauttamat avaimet äläkä oleta niitä.

”Kovat” vs. “pehmeät” kategoriat

Käytännössä nämä 11 kategoriaa jakautuvat kahteen ryhmään kriittisyytensä perusteella, ja tämä ero ohjaa koko kynnysarvostrategiaasi.

Kovat kategoriat — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal ja selfharm — edustavat vakavia riskejä, joissa väärä negatiivinen tulos (vaarallisen sisällön havaitsematta jättäminen) voi johtaa vakaviin seurauksiin. Seksuaalinen sisältö tuo mukanaan juridisia riskejä ja velvoitteita alaikäisten suojelemiseksi; vihapuhe altistaa sinut merkittävälle mainehaitalle ja oikeudelliselle vastuulle; väkivalta sisältää yllytystä ja uhkauksia; vaaralliset ja rikolliset kategoriat kattavat suuririskiset toiminnot ja laittomat aktiviteetit; itsevahingoittaminen liittyy käyttäjän turvallisuuteen ja henkeä uhkaaviin tilanteisiin. Näille kuudelle kategorialle matalat kynnykset (0,1–0,2) ovat perusteltuja tuotteestasi riippumatta, ja hyväksyt tietoisesti joitakin vääriä positiivisia tuloksia.

Pehmeät kategoriat riippuvat voimakkaasti sovelluksesi kontekstista, ja niiden kynnysarvot ovat säädettävissä välillä 0,3–0,8. Legitiimin lääketieteellisen chatbotin täytyy käsitellä aihetta health, fintech-sovellus vaatii keskusteluja, jotka kuuluvat kategoriaan financial, ja lakiasiantuntija käsittelee välttämättä kategoriaa law; jotkin sovellukset keräävät laillisesti tietoja, jotka kuuluvat kategoriaan pii. Yksi tapaus poikkeaa: jailbreaking ei riipu aiheesta vaan intentiosta manipuloida mallia, ja se pysyy kriittisenä kaikille julkisille sovelluksille.

Pisteiden analysointi Pythonilla

Seuraava funktio muuntaa raakaa API-kutsua luettavaksi päätelmäksi: se eristää kategoriat, jotka ylittävät arvon 0,3, tunnistaa maksimipistemäärän ja sen kategorian sekä palauttaa indikaattorin safe, jota voit käyttää suoraan sovelluslogiikassasi.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

def analyze_content(text: str) -> dict:
    """Analyze text and return risk categories."""
    response = client.classifiers.moderate(
        model="mistral-moderation-2603",
        inputs=[text]
    )

    scores = response.results[0].category_scores or {}

    # Separate risk categories
    risks = {}
    for category, score in scores.items():
        if score > 0.3:
            risks[category] = round(score, 3)

    return {
        "text": text[:100],
        "risks": risks,
        "max_score": max(scores.values(), default=0.0),
        "max_category": max(scores, key=lambda c: scores[c], default=None),
        "safe": len(risks) == 0
    }

print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))

category_scores on valinnainen SDK:ssa, minkä vuoksi käytössä on or {}. Suorita molemmat esimerkit omalla tililläsi: tervehdyksen pitäisi pysyä hyvin matalana kaikilla mittareilla, kun taas annostelukysymyksen pitäisi piikata kohdassa health. Tämä ei ole “vaarallista” sisältöä arkikielen mielessä – se on sisältöä, josta sinun täytyy päättää, kuuluuko se sovelluksesi scopeen.

Useat kategoriat: yksi teksti voi laukaista useita hälytyksiä

Yksi teksti voi saada korkeat pisteet useassa kategoriassa samanaikaisesti – veropetoksen avunpyyntö osuu kategorioihin criminal, financial ja law kaikki kerralla. Päätöslogiikkasi täytyy ottaa huomioon tämä moninaisuus, ja ennen kaikkea priorisoida: alla oleva funktio lajittelee rikkomukset kynnyksen ylityksen suuruuden mukaan ja kertoo, mikä kategoria todella aiheutti eston.

def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
    """Evaluate global risk considering all categories."""
    violations = []

    for category, threshold in thresholds.items():
        score = scores.get(category, 0)
        if score > threshold:
            violations.append({
                "category": category,
                "score": score,
                "threshold": threshold,
                "excess": round(score - threshold, 3)
            })

    return {
        "blocked": len(violations) > 0,
        "violations": sorted(violations,
                            key=lambda v: v["excess"],
                            reverse=True),
        "violation_count": len(violations)
    }

# Configuration by profile
strict_thresholds = {
    "sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
    "dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
    "health": 0.3, "financial": 0.3, "law": 0.3,
    "pii": 0.15, "jailbreaking": 0.1,
}

Profiili strict_thresholds noudattaa tarkasti edellä kuvattua kovien ja pehmeiden kategorioiden logiikkaa: kynnykset 0,1–0,15 kuudelle kriittiselle kategorialle ja jailbreakille, toleranssi 0,3 kontekstuaalisille alueille. Pidä tämä rakenne lähtökohtanasi ja dokumentoi kaikki tekemäsi poikkeamat.

Keskeiset asiat

  • mistral-moderation-2603 analysoi sisältöä 11 kategorian kautta kiinteillä avaimilla; hate, violence tai unpredictable eivät ole olemassa
  • Jokainen kategoria palauttaa pistemäärän välillä 0,0–1,0
  • “Kovat” kategoriat (sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal, selfharm) vaativat matalia kynnysarvoja
  • “Pehmeät” kategoriat (health, financial, law) säätyvät sovelluksesi kontekstin mukaan
  • Yksi teksti voi laukaista useita kategorioita samanaikaisesti
  • Käytä raakoja pisteitä (category_scores) oletusarvoisten totuusarvojen sijaan