Mistralin Moderation API
Tällä sivulla
Päivitetty 3. marraskuuta 2026. Vastausesimerkki sisälsi aiemmin olemattomia avaimia (
hate,violence,unpredictable); se heijastaa nytmistral-moderation-2603:n yhdeksäätoista kategoriaa. Lopullinen putki käytti aiemmin keksittyä turvakaideformaattia (enabled) ja havaitsi estot etsimällä merkkijonoa “403” virheilmoituksesta: se noudattaa nyt virallista formaattia ja tarkistaa kohdane.status_code. Mallin esittely noudattaa sen virallista tietolehteä, ja oppitunti esittelee Shieldstral 1.0:n, moderointimallin, joka on ollut julkisessa esiversiossa elokuusta 2026 lähtien. Koodi on varmennettumistralaiSDK -tyyppien versiota 3.7.0 vasten. Lähteet: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.
Luokittele sisältö generoinnin jälkeen
Turvakaiteet suodattavat syötesyötteitä. Entä mallin generoima sisältö? Viaton syöte voi tuottaa ongelmallisen vastauksen: yläasteikäisen kysymys toisesta maailmansodasta voi tuottaa kuvauksen, jota et halua näyttää ilman varoituksia. Tässä tulee Moderation API:n rooli: analysoida sisältö jälkikäteen ja määrittää riskipisteet kategorioittain.
Moderation API on toinen puolustuslinjasi – se täydentää turvakaiteita luodakseen kokonaisvaltaisen turvallisuusarkkitehtuurin, yhdellä merkittävällä erolla: se ei estä mitään itsestään, vaan se informoi sinua.
Mistral Moderation 2 -malli
Erillinen moderointimalli on nimeltään mistral-moderation-2603 (Mistral Moderation 2, maaliskuun 2026 versio). Se on erikoistunut luokittelija, joka eroaa generointimalleista: se ei kirjoita tekstiä, vaan määrittää pisteitä. Sen virallinen tietolehti korostaa 128 000 tokenin konteksti-ikkunaa, jailbreak-tunnistusta ja vahvaa suorituskykyä monimutkaisessa monikielisessä sisällössä, mukaan lukien pitkät keskustelut. Se korvaa mallin mistral-moderation-2411, joka poistettiin käytöstä 31. maaliskuuta 2026.
Se pisteyttää jokaisen tekstin 11 kategoriassa, antaen jokaiselle kategorialle pistemäärän väliltä 0,0–1,0. Se hyväksyy kaksi syöttötilaa: pelkkä teksti tai keskustelu, ja niiden välillä valitseminen vaikuttaa tulosten laatuun enemmän kuin luulisi.
Toinen moderointimalli on ollut olemassa 4. elokuuta 2026 lähtien julkisena esiversiona: Shieldstral 1.0. Se toimii eri tavalla: kompakti (3,8 miljardia parametria) ja multimodaalinen, se luokittelee tekstiä ja kuvia luonnollisella kielellä muotoiltujen käytäntökysymysten perusteella vastaten kyllä tai ei. Sen painot julkaistaan Apache 2.0 -lisenssillä, mikä mahdollistaa oman isännöinnin. Niin kauan kuin se on esiversiossa, mistral-moderation-2603 pysyy tuotantomallina, ja sitä käytetään turvakaiteissa.
/v1/moderations-päätepiste
Pelkän tekstin tila on yksinkertaisin: lähetät yhden tai useamman luokiteltavan tekstin ilman lisäkontekstia.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Moderoi yksinkertaista tekstiä
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Teksti, joka analysoidaan moderointia varten"]
)
# Käytä tuloksia
for result in response.results:
print(f"Kategoriat: {result.categories}")
print(f"Pisteet: {result.category_scores}")
Koko vuorovaikutusten, sekä syötteen että vastauksen, moduloimiseksi keskustelutila antaa luokittelijalle sen, mikä siltä puuttui: keskustelun langan.
# Moderoi koko keskustelu
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "Miten hoidan päänsärkyä?"},
{"role": "assistant", "content": "Ota 1 g parasetamolia..."}
]
]
)
# Luokittelija arvioi koko kontekstin
for result in response.results:
print(f"Terveyspisteet: {(result.category_scores or {}).get('health', 0)}")
Keskustelutila, joka kutsuu päätepistettä /v1/chat/moderations, on Mistralin suosittelema tapa vuorovaikutuksille: malli on koulutettu luokittelemaan keskustelun viimeisen vuoron edellisten perusteella. Moderoidaksesi avustajasi vastausta, sijoita se viimeiseksi. Esimerkin listojen lista mahdollistaa useiden keskustelujen lähettämisen kerralla; yksinkertainen viestilista riittää yhteen keskusteluun. Sama teksti voi siten saada eri pistemäärän riippuen siitä, vastaako se laillista vai haitallista kysymystä – annostus, joka mainitaan vastauksena tietopyyntöön, ei ole samassa asemassa kuin sama annostus, joka lipsahtaa keskusteluun riskialttiista itsehoitolääkityksestä.
Vastauksen rakenne
Jokaiselle analysoidulle tekstille vastaus sisältää kaksi rinnakkaista lohkoa: categories, totuusarvot, jotka lasketaan Mistralin asettamilla kynnysarvoilla sen sisäisen testijoukon perusteella, ja category_scores, raakatulokset väliltä 0,0–1,0. Alla oleva esimerkki on havainnollistava pyöristetyillä arvoilla; jotkin dokumentaatioesimerkit näyttävät edelleen vanhan mallin yhdeksää kategoriaa, joissa dangerous_and_criminal_content yhdisti kohdat dangerous ja criminal. Käytät jälkimmäisiä, koska ne antavat sinun asettaa omat rajasi.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
Tässä esimerkissä vain health on merkitty arvoksi true pisteillä 0,72. Kuluttajille suunnattu avustaja näkisi tämän estämissignaalina; apteekkareille tarkoitettu työkalu päästäisi sen läpi epäröimättä. Sama pistemäärä, kaksi vastakkaista päätöstä, ja juuri siksi työskentelet pisteiden eikä totuusarvojen kanssa.
Moderoi useita tekstejä eräajona
API hyväksyy useita tekstejä yhdessä pyynnössä, mikä muuttaa kaiken eräprosessoinnissa: keskusteluhistorian tai kommenttitietokannan jälkikäteinen analysointi muuttuu kohtuulliseksi toimenpiteeksi pyyntömäärän kannalta.
# Moderoi useita tekstejä yhdessä pyynnössä
texts = [
"Ensimmäinen analysoitava teksti",
"Toinen analysoitava teksti",
"Kolmas analysoitava teksti"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Jokaisella tekstillä on oma tuloksensa
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"Teksti {i+1}: maksimipisteet = {max_score:.2f} ({max_cat})")
Turvakaiteet vs. Moderation API: milloin käyttää mitä
| Näkökohta | Mukautetut turvakaiteet | Moderation API |
|---|---|---|
| Ajoitus | ENNEN generointia | JÄLKEEN generoinnin |
| Toiminto | Estää automaattisesti (403) | Palauttaa pisteet (sinä päätät) |
| Hallinta | Omat kynnysarvot kategorioittain, Mistral soveltaa | Raakatulokset, vapaa logiikka |
| Kutsu | Generointipyynnön parametri | Erillinen kutsu osoitteeseen /v1/moderations |
| Käyttötarkoitus | Suodata haitalliset syötteet | Luokitella vastauksia |
Esimerkki: kokonainen putki
Alla oleva putki näyttää kahden mekanismin sekvenssin. Generointia suojaa jailbreakiin keskittyvä turvakaide; vastaus luokitellaan sen jälkeen yhdessä sen tuottaneen kysymyksen kanssa, ja mukautettu päätös astuu voimaan heti, kun pistemäärä ylittää 0,5. Huomaa, että kaksi vaihetta palauttavat erilaiset tilat – blocked_input ja blocked_output – jotta lokisi kertovat selkeästi, missä kohtaa pyyntö pysähtyi.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Putki, jossa on turvakaiteet (syöte) ja moderointi (tuloste)."""
# Vaihe 1: generoi turvakaiteiden kanssa
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# Vaihe 2: moderoi tuloste kysymyksen kontekstissa
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Keskeiset asiat
- Moderation API käyttää
mistral-moderation-2603-mallia sisällön luokitteluun - Kaksi tilaa saatavilla: pelkkä teksti ja keskustelu
- Pisteet vaihtelevat välillä 0,0–1,0 – määrität omat päätöskynnyksesi
- Keskustelutila on tarkempi, koska se ottaa huomioon kontekstin
- Yhdistä turvakaiteet (syöte) + moderointi (tuloste) syvyyssuuntaiseen puolustukseen