Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Mistrali moderatsiooni API

Õppetund 5 / 12 Värskendatud 3. november 2026 Arendajatele
Sellel lehel
  1. Liigenda sisu pärast genereerimist
  2. Mudel Mistral Moderation 2
  3. Lõpp-punkt /v1/moderations
  4. Vastuse struktuur
  5. Mõõda mitut teksti partiihaaval
  6. Turvapiirangud vs moderatsiooni API: millal mida kasutada
  7. Näide: terviklik töövoog
  8. Peamised punktid

Uuendatud 3. novembril 2026. Vastuse näide sisaldas varem olematuid võtmeid (hate, violence, unpredictable); nüüd peegeldab see ühteteist kategooriat mudelist mistral-moderation-2603. Lõplik töövoog kasutas varem väljamõeldud turvapiirangu formaati (enabled) ja tuvastas blokeeringuid, otsides veateatest “403”: nüüd järgitakse ametlikku formaati ja kontrollitakse e.status_code-i. Mudeli esitlus järgib selle ametlikku andmelehte ja tund tutvustab Shieldstral 1.0-t, moderatsioonimudelit, mis on avalikus eelvaates alates augustist 2026. Kood on kontrollitud mistralai SDK tüüpide versiooni 3.7.0 vastu. Allikad: Moderatsioon ja turvapiirangud · Mistral Moderation 2 · Shieldstral 1.0.

Liigenda sisu pärast genereerimist

Turvapiirangud filtreerivad sisendprompte. Aga mis saab mudeli genereeritud sisust? Süütu prompt võib tekitada problemaatilise vastuse: keskkooliõpilase küsimus Teise maailmasõja kohta võib tuua kaasa kirjelduse, mida sa ei soovi ilma hoiatusteta kuvada. Siin tulebki mängu moderatsiooni API: analüüsida sisu tagantjärele ja omistada riskiskoorid kategooriate kaupa.

Moderatsiooni API on sinu teine kaitsejoon – see täiendab turvapiiranguid, luues tervikliku turvarhitektuuri, ühe olulise erinevusega: see ei blokeeri midagi iseseisvalt, vaid annab sulle teavet.

Mudel Mistral Moderation 2

Spetsiaalne moderatsioonimudel kannab nime mistral-moderation-2603 (Mistral Moderation 2, märtsi 2026 versioon). See on spetsialiseeritud klassifikaator, mis erineb genereerimismudelitest: see ei kirjuta teksti, vaid omistab skoore. Selle ametlik andmeleht toob esile 128 000 tokeni suuruse kontekstiakna, jailbreak’i tuvastamise ja tugeva jõudluse keeruka mitmekeelse sisu, sealhulgas pikkade vestluste puhul. See asendab mudelit mistral-moderation-2411, mis tunnistati aegunuks 31. märtsil 2026.

See hindab iga teksti 11 kategoorias, omistades igale kategooriale skoori vahemikus 0,0 kuni 1,0. See aktsepteerib kahte sisendrežiimi: lihttekst või vestlusrežiim, ning nende vahel valimine mõjutab tulemuste kvaliteeti rohkem, kui oskad arvata.

Teine moderatsioonimudel on eksisteerinud alates 4. augustist 2026 avalikus eelvaates: Shieldstral 1.0. See toimib teisiti: kompaktne (3,8 miljardit parameetrit) ja multimodaalne, liigitab see teksti ja pilte loomulikus keeles formuleeritud poliitikaküsimuste põhjal, vastates jah või ei. Selle kaalud on avaldatud Apache 2.0 litsentsi all, võimaldades isemajutust. Seni, kuni see on eelvaates, jääb mistral-moderation-2603 tootmismudeliks ja just seda kasutatakse turvapiirangutes.

Lõpp-punkt /v1/moderations

Lihtteksti režiim on kõige lihtsam: saadad ühe või mitu teksti liigitamiseks ilma täiendava kontekstita.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Mõõda lihtsat teksti
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Tekst, mida moderatsiooni jaoks analüüsida"]
)

# Juurdepääs tulemustele
for result in response.results:
    print(f"Kategooriad: {result.categories}")
    print(f"Skoorid: {result.category_scores}")

Tervete vahetuste, nii prompti kui vastuse koos, mõõtmiseks annab vestlusrežiim klassifikaatorile selle, mis tal puudus: vestluse lõime.

# Mõõda tervet vestlust
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "Kuidas ravida peavalu?"},
            {"role": "assistant", "content": "Võta 1g paratsetamooli..."}
        ]
    ]
)

# Klassifikaator hindab tervet konteksti
for result in response.results:
    print(f"Tervise skoor: {(result.category_scores or {}).get('health', 0)}")

Vestlusrežiim, mis kutsub lõpp-punkti /v1/chat/moderations, on see, mida Mistral soovitab vahetuse jaoks: mudel on treenitud liigitama vestluse viimast pööret, võttes arvesse eelnevaid. Oma assistendi vastuse mõõtmiseks paiguta see viimaseks. Näites olev loendite loend võimaldab saata korraga mitu vestlust; ühe jaoks piisab lihtsast sõnumite loendist. Seega võib sama tekst saada erineva skoori sõltuvalt sellest, kas see vastab legitiimsele või pahatahtlikule küsimusele – annus, mida mainitakse teabepäringule vastuseks, ei oma sama staatust kui sama annus, mis on libistatud riskantset iseravimist käsitlevasse vahetusse.

Vastuse struktuur

Iga analüüsitud teksti kohta sisaldab vastus kahte paralleelset plokki: categories, boole’i väärtused, mis on arvutatud lävenditega, mille Mistral on määranud oma sisemise testkomplekti põhjal, ja category_scores, toorskoorid vahemikus 0,0 kuni 1,0. Allpool olev näide on illustreeriv ümardatud väärtustega; mõned dokumentatsiooni näited näitavad endiselt vana mudeli üheksat kategooriat, kus dangerous_and_criminal_content ühendas dangerous ja criminal. Sina kasutad viimaseid, sest need võimaldavad sul määrata oma piire.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

Selles näites on märgitud true ainult health väärtusega 0,72. Tarbijale suunatud assistent tõlgendaks seda blokeerimissignaalina; apteekritele mõeldud tööriist laseks selle kõhklemata läbi. Sama skoor, kaks vastupidist otsust, ja just seetõttu töötad sa skooride, mitte boole’i väärtustega.

Mõõda mitut teksti partiihaaval

API aktsepteerib ühes päringus mitut teksti, mis muudab kõik partii töötlemisel: vestlusajaloo või kommentaaride andmebaasi tagantjärele analüüsimine muutub päringute arvu seisukohalt mõistlikuks toiminguks.

# Mõõda mitut teksti ühes päringus
texts = [
    "Esimene analüüsitav tekst",
    "Teine analüüsitav tekst",
    "Kolmas analüüsitav tekst"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Igal tekstil on oma tulemus
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Tekst {i+1}: maksimaalne skoor = {max_score:.2f} ({max_cat})")

Turvapiirangud vs moderatsiooni API: millal mida kasutada

AspektKohandatud turvapiirangudModeratsiooni API
AjastusENNE genereerimistPÄRAST genereerimist
TegevusBlokeerib automaatselt (403)Tagastab skoorid (sina otsustad)
KontrollSinu lävendid kategooria kohta, rakendab MistralToorskoorid, vaba loogika
VäljakutseGenereerimispäringu parameeterEraldi väljakutse lõpp-punktile /v1/moderations
KasutusjuhtumOhtlike promptide filtreerimineVastuste liigitamine

Näide: terviklik töövoog

Allpool olev töövoog näitab kahe mehhanismi järjestust. Genereerimist kaitseb jailbreak’ile keskendunud turvapiirang; seejärel liigitatakse vastus koos seda tekitanud küsimusega ja kohandatud otsus astub jõusse niipea, kui skoor ületab 0,5. Pane tähele, et kaks sammu tagastavad erinevad olekud – blocked_input ja blocked_output –, nii et sinu logid annavad selgelt teada, kus päring peatus.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Töövoog turvapiirangutega (sisend) ja moderatsiooniga (väljund)."""
    # 1. samm: genereeri turvapiirangutega
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # 2. samm: mõõda väljundit küsimuse kontekstis
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Peamised punktid

  • Moderatsiooni API kasutab sisu liigitamiseks mudelit mistral-moderation-2603
  • Saadaval on kaks režiimi: lihttekst ja vestlus
  • Skoorid jäävad vahemikku 0,0 kuni 1,0 – sina määrad oma otsustuslävendid
  • Vestlusrežiim on täpsem, kuna see võtab arvesse konteksti
  • Kombineeri turvapiirangud (sisend) + moderatsioon (väljund) sügavkaitseks