Pereiti prie pagrindinio turinio
Lietuvių— Pasirinkite kalbą
Meniu

Mistral Moderation API

Paskaita 5 iš 12 Atnaujinta 2026 m. lapkričio 3 d. Kūrėjas
Šiame puslapyje
  1. Turinio klasifikavimas po generavimo
  2. Mistral Moderation 2 modelis
  3. /v1/moderations galinis punktas
  4. Atsakymo struktūra
  5. Kelių tekstų moderavimas grupėmis (Batch)
  6. Apsaugos mechanizmai vs Moderation API: ką ir kada naudoti
  7. Pavyzdys: pilna grandinė
  8. Svarbiausi punktai

Atnaujinta 2026 m. lapkričio 3 d. Anksčiau pateiktame atsakymo pavyzdyje buvo nerastų raktų (hate, violence, unpredictable); dabar jis atspindi vienuolika kategorijų iš mistral-moderation-2603. Galutinė grandinė anksčiau naudojo išgalvotą apsaugos formatą (enabled) ir aptiko blokavimus ieškodama „403“ klaidos pranešime: dabar ji laikosi oficialaus formato ir tikrina e.status_code. Modelio pristatymas atitinka oficialią duomenų lapą, o pamokoje pristatomas „Shieldstral 1.0“ – moderavimo modelis, viešosios peržiūros etape nuo 2026 m. rugpjūčio mėn. Kodas patikrintas pagal mistralai SDK tipų versiją 3.7.0. Šaltiniai: Moderavimas ir apsauga · Mistral Moderation 2 · Shieldstral 1.0.

Turinio klasifikavimas po generavimo

Apsaugos mechanizmai filtruoja įvesties užklausas. O kaip dėl modelio sugeneruoto turinio? Nekalta užklausa gali sukelti problematišką atsakymą: vidurinės mokyklos mokinio klausimas apie Antrąjį pasaulinį karą gali iššaukti aprašymą, kurio nenorite rodyti be įspėjimų. Čia ir įsijungia Moderation API: analizuoti turinį post factum ir priskirti rizikos balus pagal kategorijas.

Moderation API yra tavo antroji gynybos linija – ji papildo apsaugos mechanizmus, kad sukurtumėte visapusišką saugumo architektūrą, tačiau su vienu esminiu skirtumu: ji nieko neblokuoja savarankiškai; ji tik informuoja tave.

Mistral Moderation 2 modelis

Specializuotas moderavimo modelis vadinasi mistral-moderation-2603 (Mistral Moderation 2, 2026 m. kovo mėn. versija). Tai specializuotas klasifikatorius, besiskiriantis nuo generavimo modelių: jis nerašo teksto, o priskiria balus. Jo oficialioje duomenų lape pabrėžiamas 128 000 tokenų konteksto langas, „jailbreak“ aptikimas ir aukštas našumas dirbant su sudėtingu daugiakalbiu turiniu, įskaitant ilgas pokalbių istorijas. Jis pakeitė mistral-moderation-2411, kuris buvo pasenęs 2026 m. kovo 31 d.

Jis įvertina kiekvieną tekstą pagal 11 kategorijų, kiekvienai priskirdamas balą nuo 0,0 iki 1,0. Jis priima du įvesties režimus: paprastą tekstą arba pokalbio formatą, o pasirinkimas tarp jų daro didesnę įtaką rezultatų kokybei, nei galėtum manyti.

Nuo 2026 m. rugpjūčio 4 d. viešosios peržiūros etape egzistuoja antras moderavimo modelis: Shieldstral 1.0. Jis veikia kitaip: kompaktiškas (3,8 mlrd. parametrų) ir multimodalinis, jis klasifikuoja tekstą ir vaizdus remdamasis natūralia kalba suformuluotais politikos klausimais, atsakydamas „taip“ arba „ne“. Jo svoriai publikuojami pagal Apache 2.0 licenciją, leidžiančią savarankišką diegimą (self-hosting). Kol jis lieka peržiūros etape, mistral-moderation-2603 išlieka gamybiniu modeliu ir būtent jis naudojamas apsaugos mechanizmuose.

/v1/moderations galinis punktas

Paprasto teksto režimas yra paprasčiausias: siunčiate vieną ar daugiau tekstų klasifikavimui be papildomo konteksto.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Moderuoti paprastą tekstą
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Text to analyze for moderation"]
)

# Pasiekti rezultatus
for result in response.results:
    print(f"Categories: {result.categories}")
    print(f"Scores: {result.category_scores}")

Norint moderuoti pilnus mainus – ir užklausą, ir atsakymą kartu – pokalbio režimas suteikia klasifikatoriui tai, ko jam trūko: diskusijos eigą.

# Moderuoti visą pokalbį
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "How do I treat a headache?"},
            {"role": "assistant", "content": "Take 1g of paracetamol..."}
        ]
    ]
)

# Klasifikatorius įvertina visą kontekstą
for result in response.results:
    print(f"Health score: {(result.category_scores or {}).get('health', 0)}")

Pokalbio režimas, kuris kviečia /v1/chat/moderations galinį punktą, yra tai, ką „Mistral“ rekomenduoja mainams: modelis apmokytas klasifikuoti paskutinį pokalbio posūkį, atsižvelgdamas į ankstesnius. Norėdami moderuoti savo asistento atsakymą, padėkite jį pabaigoje. Sąrašų sąrašas pavyzdyje leidžia vienu metu siųsti kelis pokalbius; vienam pokalbiui pakanka paprasto žinučių sąrašo. Tas pats tekstas taip gali gauti skirtingą balą priklausomai nuo to, ar jis atsako į teisėtą, ar kenkėjišką klausimą – dozavimas, cituojamas atsakant į informacinę užklausą, neturi tos pačios reikšmės kaip ta pati dozė, įterpta į keitimąsi apie rizikingą savigydą.

Atsakymo struktūra

Kiekvienam analizuojamam tekstui atsakyme yra du lygiagretūs blokai: categories – boolean reikšmės, apskaičiuotos naudojant „Mistral“ nustatytas slenkstines vertes pagal jų vidinį testų rinkinį, ir category_scores – „žali“ balai nuo 0,0 iki 1,0. Toliau pateiktas pavyzdys yra iliustracinis, su suapvalintomis reikšmėmis; kai kuriuose dokumentacijos pavyzdžiuose vis dar rodomos devynios senojo modelio kategorijos, kur dangerous_and_criminal_content apjungė dangerous ir criminal. Naudosite pastarąsias, nes jos leidžia jums patiems nustatyti ribas.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

Šiame pavyzdyje tik health pažymėta kaip true, su 0,72 balu. Vartotojams skirtas asistentas tai traktuotų kaip blokavimo signalą; vaistininkams skirtas įrankis leistų tai praeiti be abejonių. Tas pats balas, du priešingi sprendimai, ir būtent todėl dirbate su balais, o ne su boolean reikšmėmis.

Kelių tekstų moderavimas grupėmis (Batch)

API priima kelis tekstus viename užklausoje, o tai viską keičia apdorojant grupėmis: retrospektyvi pokalbių istorijos ar komentarų duomenų bazės analizė tampa pagrįsta operacija kalbant apie kvietimų skaičių.

# Moderuoti kelis tekstus vienoje užklausoje
texts = [
    "First text to analyze",
    "Second text to analyze",
    "Third text to analyze"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Kiekvienas tekstas turi savo rezultatą
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")

Apsaugos mechanizmai vs Moderation API: ką ir kada naudoti

AspektasIndividualūs apsaugos mechanizmai (Guardrails)Moderation API
LaikasPRIEŠ generavimąPO generavimo
VeiksmasAutomatiškai blokuoja (403)Grąžina balus (sprendžiate jūs)
KontrolėJūsų slenkstinės vertės kiekvienai kategorijai, taikomos „Mistral“„Žali“ balai, laisva logika
KvietimasGeneravimo užklausos parametrasAtskiras kvietimas į /v1/moderations
Naudojimo atvejisFiltruoti pavojingas užklausasKlasifikuoti atsakymus

Pavyzdys: pilna grandinė

Toliau pateikta grandinė rodo dviejų mechanizmų seką. Generavimas apsaugotas apsaugos mechanizmu, sutelktu į „jailbreaking“; tada atsakymas klasifikuojamas kartu su jį sukūrusiu klausimu, o individualus sprendimas priimamas, kai tik balas viršija 0,5. Atkreipkite dėmesį, kad du žingsniai grąžina skirtingas būsenas – blocked_input ir blocked_output – todėl jūsų žurnaluose aiškiai matyti, kur užklausa sustojo.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Grandinė su apsaugos mechanizmais (įvestis) ir moderavimu (išvestis)."""
    # 1 žingsnis: generuoti su apsaugos mechanizmais
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # 2 žingsnis: moderuoti išvestį, atsižvelgiant į klausimo kontekstą
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Svarbiausi punktai

  • Moderation API naudoja mistral-moderation-2603 modelį turiniui klasifikuoti
  • Galimi du režimai: paprastas tekstas ir pokalbis
  • Balai svyruoja nuo 0,0 iki 1,0 – jūs nustatote savo sprendimų slenkstines vertes
  • Pokalbio režimas yra tikslesnis, nes atsižvelgia į kontekstą
  • Derinkite apsaugos mechanizmus (įvestis) + moderavimą (išvestis), kad užtikrintumėte giluminę gynybą