11 luokituskategoriaa
Tällä sivulla
Päivitetty 3. marraskuuta 2026. Aiemmassa kategoriataulukossa lueteltiin kolme olematonta avainta (
hate,violence,unpredictable) jadangerouspuuttui. Alla olevat yksitoista avainta vastaavat malliamistral-moderation-2603, perustuen dokumentaatioon ja tyyppeihin SDK:ssamistralaiversio 3.7.0; kuvaukset noudattavat Mistralin määritelmiä. Esitetyt mittausarvot olivat havainnollistavia esimerkkejä ja on nyt merkitty selkeästi sellaisiksi. Lähteet: Moderation & Guardrailing · Mistral Moderation 2411 (vanhentunut malli).
Riskikategorioiden ymmärtäminen
Mistral Moderation -malli analysoi sisältöä 11 eri kategorian kautta. Jokainen kategoria kattaa tietyn riskityypin ja palauttaa itsenäisen pistemäärän välillä 0,0–1,0. On välttämätöntä ymmärtää tarkasti, mitä kukin kategoria havaitsee, jotta voit asettaa mielekkäitä kynnysarvoja. Ilman tätä selkeyttä vain arvailet lukuja ja ihmettelet, miksi sisältöä estetään odottamatta.
Alla olevassa taulukossa on kunkin kategorian tarkka API-avain, sen kattavuus ja käytännössä havaittavat tapaukset.
| Kategoria | API-avain | Mitä Mistral sisältää |
|---|---|---|
| Seksuaalinen sisältö | sexual | Selkeästi kuvatut tai mainostetut seksuaaliset toiminnot, alastomuus tai seksipalvelut; ei-seksuaalinen opetuksellinen tai lääketieteellinen sisältö on yleensä vapautettu |
| Viha ja syrjintä | hate_and_discrimination | Ennakkoluulot, vihamielisyys tai kehotukset syrjintään suojeltujen ominaisuuksien perusteella, mukaan lukien häirintä |
| Väkivalta ja uhkaukset | violence_and_threats | Kuvatut, ylistetyt, yllytetyt tai uhatut fyysiset väkivallanteot sekä ohjeet niiden tekemiseen |
| Vaarallinen sisältö | dangerous | Erittäin vaaralliset toiminnat, joissa on suuri fyysisen vahingon riski |
| Rikollinen toiminta | criminal | Kuvatut tai mainostetut laittomat toiminnot |
| Itsevahingoittaminen | selfharm | Itsevahingoittaminen, itsemurha, syömishäiriöt: menetelmät, ylistäminen, aikomus, vaaralliset haasteet |
| Terveys | health | Yksityiskohtaisten tai henkilökohtaisten lääketieteellisten neuvojen pyytäminen tai antaminen |
| Rahoitus | financial | Yksityiskohtaisten tai henkilökohtaisten taloudellisten neuvojen pyytäminen tai antaminen |
| Laki | law | Yksityiskohtaisten tai henkilökohtaisten oikeudellisten neuvojen pyytäminen tai antaminen |
| Henkilötiedot | pii | Tunnistettavien tietojen pyytäminen, jakaminen tai yritys hankkia niitä: koko nimi, osoite, puhelinnumero, henkilötunnus, pankkitiedot |
| Jailbreak | jailbreaking | Yritykset kiertää mallin sääntöjä kehotteiden manipuloinnilla, roolipeleillä tai muilla tekniikoilla |
Kategoriat dangerous, criminal ja jailbreaking tulivat käyttöön mallin mistral-moderation-2603 myötä. Edellinen malli, mistral-moderation-2411, joka vanheni 31. maaliskuuta 2026, yhdisti kaksi ensimmäistä yhdeksi avaimeksi, dangerous_and_criminal_content, eikä havainnut jailbreakejä. Jotkin dokumentaation vastausesimerkit näyttävät edelleen tätä vanhempaa jakoa: lue aina API:n palauttamat avaimet äläkä oleta niitä.
”Kovat” vs. “pehmeät” kategoriat
Käytännössä nämä 11 kategoriaa jakautuvat kahteen ryhmään kriittisyytensä perusteella, ja tämä ero ohjaa koko kynnysarvostrategiaasi.
Kovat kategoriat — sexual, hate_and_discrimination, violence_and_threats, dangerous, criminal ja selfharm — edustavat vakavia riskejä, joissa väärä negatiivinen tulos (vaarallisen sisällön havaitsematta jättäminen) voi johtaa vakaviin seurauksiin. Seksuaalinen sisältö tuo mukanaan juridisia riskejä ja velvoitteita alaikäisten suojelemiseksi; vihapuhe altistaa sinut merkittävälle mainehaitalle ja oikeudelliselle vastuulle; väkivalta sisältää yllytystä ja uhkauksia; vaaralliset ja rikolliset kategoriat kattavat suuririskiset toiminnot ja laittomat aktiviteetit; itsevahingoittaminen liittyy käyttäjän turvallisuuteen ja henkeä uhkaaviin tilanteisiin. Näille kuudelle kategorialle matalat kynnykset (0,1–0,2) ovat perusteltuja tuotteestasi riippumatta, ja hyväksyt tietoisesti joitakin vääriä positiivisia tuloksia.
Pehmeät kategoriat riippuvat voimakkaasti sovelluksesi kontekstista, ja niiden kynnysarvot ovat säädettävissä välillä 0,3–0,8. Legitiimin lääketieteellisen chatbotin täytyy käsitellä aihetta health, fintech-sovellus vaatii keskusteluja, jotka kuuluvat kategoriaan financial, ja lakiasiantuntija käsittelee välttämättä kategoriaa law; jotkin sovellukset keräävät laillisesti tietoja, jotka kuuluvat kategoriaan pii. Yksi tapaus poikkeaa: jailbreaking ei riipu aiheesta vaan intentiosta manipuloida mallia, ja se pysyy kriittisenä kaikille julkisille sovelluksille.
Pisteiden analysointi Pythonilla
Seuraava funktio muuntaa raakaa API-kutsua luettavaksi päätelmäksi: se eristää kategoriat, jotka ylittävät arvon 0,3, tunnistaa maksimipistemäärän ja sen kategorian sekä palauttaa indikaattorin safe, jota voit käyttää suoraan sovelluslogiikassasi.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def analyze_content(text: str) -> dict:
"""Analyze text and return risk categories."""
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
scores = response.results[0].category_scores or {}
# Separate risk categories
risks = {}
for category, score in scores.items():
if score > 0.3:
risks[category] = round(score, 3)
return {
"text": text[:100],
"risks": risks,
"max_score": max(scores.values(), default=0.0),
"max_category": max(scores, key=lambda c: scores[c], default=None),
"safe": len(risks) == 0
}
print(analyze_content("Hello, how are you?"))
print(analyze_content("What dose of acetaminophen for a 20 kg child?"))
category_scores on valinnainen SDK:ssa, minkä vuoksi käytössä on or {}. Suorita molemmat esimerkit omalla tililläsi: tervehdyksen pitäisi pysyä hyvin matalana kaikilla mittareilla, kun taas annostelukysymyksen pitäisi piikata kohdassa health. Tämä ei ole “vaarallista” sisältöä arkikielen mielessä – se on sisältöä, josta sinun täytyy päättää, kuuluuko se sovelluksesi scopeen.
Useat kategoriat: yksi teksti voi laukaista useita hälytyksiä
Yksi teksti voi saada korkeat pisteet useassa kategoriassa samanaikaisesti – veropetoksen avunpyyntö osuu kategorioihin criminal, financial ja law kaikki kerralla. Päätöslogiikkasi täytyy ottaa huomioon tämä moninaisuus, ja ennen kaikkea priorisoida: alla oleva funktio lajittelee rikkomukset kynnyksen ylityksen suuruuden mukaan ja kertoo, mikä kategoria todella aiheutti eston.
def evaluate_global_risk(scores: dict, thresholds: dict) -> dict:
"""Evaluate global risk considering all categories."""
violations = []
for category, threshold in thresholds.items():
score = scores.get(category, 0)
if score > threshold:
violations.append({
"category": category,
"score": score,
"threshold": threshold,
"excess": round(score - threshold, 3)
})
return {
"blocked": len(violations) > 0,
"violations": sorted(violations,
key=lambda v: v["excess"],
reverse=True),
"violation_count": len(violations)
}
# Configuration by profile
strict_thresholds = {
"sexual": 0.1, "hate_and_discrimination": 0.1, "violence_and_threats": 0.15,
"dangerous": 0.1, "criminal": 0.1, "selfharm": 0.1,
"health": 0.3, "financial": 0.3, "law": 0.3,
"pii": 0.15, "jailbreaking": 0.1,
}
Profiili strict_thresholds noudattaa tarkasti edellä kuvattua kovien ja pehmeiden kategorioiden logiikkaa: kynnykset 0,1–0,15 kuudelle kriittiselle kategorialle ja jailbreakille, toleranssi 0,3 kontekstuaalisille alueille. Pidä tämä rakenne lähtökohtanasi ja dokumentoi kaikki tekemäsi poikkeamat.
Keskeiset asiat
mistral-moderation-2603analysoi sisältöä 11 kategorian kautta kiinteillä avaimilla;hate,violencetaiunpredictableeivät ole olemassa- Jokainen kategoria palauttaa pistemäärän välillä 0,0–1,0
- “Kovat” kategoriat (
sexual,hate_and_discrimination,violence_and_threats,dangerous,criminal,selfharm) vaativat matalia kynnysarvoja - “Pehmeät” kategoriat (health, financial, law) säätyvät sovelluksesi kontekstin mukaan
- Yksi teksti voi laukaista useita kategorioita samanaikaisesti
- Käytä raakoja pisteitä (
category_scores) oletusarvoisten totuusarvojen sijaan