Siirry pääsisältöön
Suomi— Valitse kieli
Valikko

Mistralin Moderation API

Oppitunti 5 / 12 Päivitetty 3. marraskuuta 2026 Kehittäjä
Tällä sivulla
  1. Luokittele sisältö generoinnin jälkeen
  2. Mistral Moderation 2 -malli
  3. /v1/moderations-päätepiste
  4. Vastauksen rakenne
  5. Moderoi useita tekstejä eräajona
  6. Turvakaiteet vs. Moderation API: milloin käyttää mitä
  7. Esimerkki: kokonainen putki
  8. Keskeiset asiat

Päivitetty 3. marraskuuta 2026. Vastausesimerkki sisälsi aiemmin olemattomia avaimia (hate, violence, unpredictable); se heijastaa nyt mistral-moderation-2603:n yhdeksäätoista kategoriaa. Lopullinen putki käytti aiemmin keksittyä turvakaideformaattia (enabled) ja havaitsi estot etsimällä merkkijonoa “403” virheilmoituksesta: se noudattaa nyt virallista formaattia ja tarkistaa kohdan e.status_code. Mallin esittely noudattaa sen virallista tietolehteä, ja oppitunti esittelee Shieldstral 1.0:n, moderointimallin, joka on ollut julkisessa esiversiossa elokuusta 2026 lähtien. Koodi on varmennettu mistralai SDK -tyyppien versiota 3.7.0 vasten. Lähteet: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.

Luokittele sisältö generoinnin jälkeen

Turvakaiteet suodattavat syötesyötteitä. Entä mallin generoima sisältö? Viaton syöte voi tuottaa ongelmallisen vastauksen: yläasteikäisen kysymys toisesta maailmansodasta voi tuottaa kuvauksen, jota et halua näyttää ilman varoituksia. Tässä tulee Moderation API:n rooli: analysoida sisältö jälkikäteen ja määrittää riskipisteet kategorioittain.

Moderation API on toinen puolustuslinjasi – se täydentää turvakaiteita luodakseen kokonaisvaltaisen turvallisuusarkkitehtuurin, yhdellä merkittävällä erolla: se ei estä mitään itsestään, vaan se informoi sinua.

Mistral Moderation 2 -malli

Erillinen moderointimalli on nimeltään mistral-moderation-2603 (Mistral Moderation 2, maaliskuun 2026 versio). Se on erikoistunut luokittelija, joka eroaa generointimalleista: se ei kirjoita tekstiä, vaan määrittää pisteitä. Sen virallinen tietolehti korostaa 128 000 tokenin konteksti-ikkunaa, jailbreak-tunnistusta ja vahvaa suorituskykyä monimutkaisessa monikielisessä sisällössä, mukaan lukien pitkät keskustelut. Se korvaa mallin mistral-moderation-2411, joka poistettiin käytöstä 31. maaliskuuta 2026.

Se pisteyttää jokaisen tekstin 11 kategoriassa, antaen jokaiselle kategorialle pistemäärän väliltä 0,0–1,0. Se hyväksyy kaksi syöttötilaa: pelkkä teksti tai keskustelu, ja niiden välillä valitseminen vaikuttaa tulosten laatuun enemmän kuin luulisi.

Toinen moderointimalli on ollut olemassa 4. elokuuta 2026 lähtien julkisena esiversiona: Shieldstral 1.0. Se toimii eri tavalla: kompakti (3,8 miljardia parametria) ja multimodaalinen, se luokittelee tekstiä ja kuvia luonnollisella kielellä muotoiltujen käytäntökysymysten perusteella vastaten kyllä tai ei. Sen painot julkaistaan Apache 2.0 -lisenssillä, mikä mahdollistaa oman isännöinnin. Niin kauan kuin se on esiversiossa, mistral-moderation-2603 pysyy tuotantomallina, ja sitä käytetään turvakaiteissa.

/v1/moderations-päätepiste

Pelkän tekstin tila on yksinkertaisin: lähetät yhden tai useamman luokiteltavan tekstin ilman lisäkontekstia.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Moderoi yksinkertaista tekstiä
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Teksti, joka analysoidaan moderointia varten"]
)

# Käytä tuloksia
for result in response.results:
    print(f"Kategoriat: {result.categories}")
    print(f"Pisteet: {result.category_scores}")

Koko vuorovaikutusten, sekä syötteen että vastauksen, moduloimiseksi keskustelutila antaa luokittelijalle sen, mikä siltä puuttui: keskustelun langan.

# Moderoi koko keskustelu
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "Miten hoidan päänsärkyä?"},
            {"role": "assistant", "content": "Ota 1 g parasetamolia..."}
        ]
    ]
)

# Luokittelija arvioi koko kontekstin
for result in response.results:
    print(f"Terveyspisteet: {(result.category_scores or {}).get('health', 0)}")

Keskustelutila, joka kutsuu päätepistettä /v1/chat/moderations, on Mistralin suosittelema tapa vuorovaikutuksille: malli on koulutettu luokittelemaan keskustelun viimeisen vuoron edellisten perusteella. Moderoidaksesi avustajasi vastausta, sijoita se viimeiseksi. Esimerkin listojen lista mahdollistaa useiden keskustelujen lähettämisen kerralla; yksinkertainen viestilista riittää yhteen keskusteluun. Sama teksti voi siten saada eri pistemäärän riippuen siitä, vastaako se laillista vai haitallista kysymystä – annostus, joka mainitaan vastauksena tietopyyntöön, ei ole samassa asemassa kuin sama annostus, joka lipsahtaa keskusteluun riskialttiista itsehoitolääkityksestä.

Vastauksen rakenne

Jokaiselle analysoidulle tekstille vastaus sisältää kaksi rinnakkaista lohkoa: categories, totuusarvot, jotka lasketaan Mistralin asettamilla kynnysarvoilla sen sisäisen testijoukon perusteella, ja category_scores, raakatulokset väliltä 0,0–1,0. Alla oleva esimerkki on havainnollistava pyöristetyillä arvoilla; jotkin dokumentaatioesimerkit näyttävät edelleen vanhan mallin yhdeksää kategoriaa, joissa dangerous_and_criminal_content yhdisti kohdat dangerous ja criminal. Käytät jälkimmäisiä, koska ne antavat sinun asettaa omat rajasi.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

Tässä esimerkissä vain health on merkitty arvoksi true pisteillä 0,72. Kuluttajille suunnattu avustaja näkisi tämän estämissignaalina; apteekkareille tarkoitettu työkalu päästäisi sen läpi epäröimättä. Sama pistemäärä, kaksi vastakkaista päätöstä, ja juuri siksi työskentelet pisteiden eikä totuusarvojen kanssa.

Moderoi useita tekstejä eräajona

API hyväksyy useita tekstejä yhdessä pyynnössä, mikä muuttaa kaiken eräprosessoinnissa: keskusteluhistorian tai kommenttitietokannan jälkikäteinen analysointi muuttuu kohtuulliseksi toimenpiteeksi pyyntömäärän kannalta.

# Moderoi useita tekstejä yhdessä pyynnössä
texts = [
    "Ensimmäinen analysoitava teksti",
    "Toinen analysoitava teksti",
    "Kolmas analysoitava teksti"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Jokaisella tekstillä on oma tuloksensa
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Teksti {i+1}: maksimipisteet = {max_score:.2f} ({max_cat})")

Turvakaiteet vs. Moderation API: milloin käyttää mitä

NäkökohtaMukautetut turvakaiteetModeration API
AjoitusENNEN generointiaJÄLKEEN generoinnin
ToimintoEstää automaattisesti (403)Palauttaa pisteet (sinä päätät)
HallintaOmat kynnysarvot kategorioittain, Mistral soveltaaRaakatulokset, vapaa logiikka
KutsuGenerointipyynnön parametriErillinen kutsu osoitteeseen /v1/moderations
KäyttötarkoitusSuodata haitalliset syötteetLuokitella vastauksia

Esimerkki: kokonainen putki

Alla oleva putki näyttää kahden mekanismin sekvenssin. Generointia suojaa jailbreakiin keskittyvä turvakaide; vastaus luokitellaan sen jälkeen yhdessä sen tuottaneen kysymyksen kanssa, ja mukautettu päätös astuu voimaan heti, kun pistemäärä ylittää 0,5. Huomaa, että kaksi vaihetta palauttavat erilaiset tilat – blocked_input ja blocked_output – jotta lokisi kertovat selkeästi, missä kohtaa pyyntö pysähtyi.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Putki, jossa on turvakaiteet (syöte) ja moderointi (tuloste)."""
    # Vaihe 1: generoi turvakaiteiden kanssa
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # Vaihe 2: moderoi tuloste kysymyksen kontekstissa
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Keskeiset asiat

  • Moderation API käyttää mistral-moderation-2603-mallia sisällön luokitteluun
  • Kaksi tilaa saatavilla: pelkkä teksti ja keskustelu
  • Pisteet vaihtelevat välillä 0,0–1,0 – määrität omat päätöskynnyksesi
  • Keskustelutila on tarkempi, koska se ottaa huomioon kontekstin
  • Yhdistä turvakaiteet (syöte) + moderointi (tuloste) syvyyssuuntaiseen puolustukseen