Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

API za moderacijo Mistral

Lekcija 5 od 12 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Razvrščanje vsebine po generiranju
  2. Model Mistral Moderation 2
  3. Končna točka /v1/moderations
  4. Struktura odgovora
  5. Moderacija več besedil v seriji
  6. Zaščitne ograje proti API-ju za moderacijo: kdaj uporabiti kaj
  7. Primer: celoten cevovod
  8. Ključne ugotovitve

Posodobljeno 3. novembra 2026. Primer odgovora je prej vključeval neobstoječe ključe (hate, violence, unpredictable); zdaj odraža enajst kategorij iz modela mistral-moderation-2603. Končni cevovod je prej uporabljal izmišljeno obliko zaščitnih ograj (enabled) in zaznaval blokade z iskanjem niza “403” v sporočilu o napaki: zdaj sledi uradni obliki in preverja e.status_code. Predstavitev modela sledi njegovemu uradnemu podatkovnemu listu, lekcija pa uvaja Shieldstral 1.0, model za moderacijo v javni predogledni različici od avgusta 2026. Koda je preverjena glede na tipe SDK mistralai različice 3.7.0. Viri: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.

Razvrščanje vsebine po generiranju

Zaščitne ograje filtrirajo vhodne pozive. Kaj pa vsebina, ki jo generira model? Nedolžen poziv lahko proizvede problematičen odgovor: vprašanje srednješolca o drugi svetovni vojni lahko sproži opis, ki ga ne želite prikazati brez opozoril. To je vloga API-ja za moderacijo: analizirati vsebino naknadno in dodeliti ocene tveganja po kategorijah.

API za moderacijo je tvoja druga obrambna linija – dopolnjuje zaščitne ograje in ustvarja celovito varnostno arhitekturo, z eno glavno razliko: samodejno ne blokira ničesar, temveč te le obvešča.

Model Mistral Moderation 2

Namenski model za moderacijo se imenuje mistral-moderation-2603 (Mistral Moderation 2, različica iz marca 2026). Gre za specializiran klasifikator, ki se razlikuje od generativnih modelov: ne piše besedila, temveč dodeljuje ocene. Njegov uradni podatkovni list poudarja kontekstno okno s 128.000 žetoni, zaznavanje vdorov (jailbreak) in močno zmogljivost pri kompleksni večjezični vsebini, vključno z dolgimi pogovori. Nadomešča model mistral-moderation-2411, ki je bil umaknjen 31. marca 2026.

Vsako besedilo oceni v 11 kategorijah, pri čemer je ocena za vsako kategorijo od 0,0 do 1,0. Sprejema dva načina vnosa: navadno besedilo ali pogovorni način, izbira med njima pa bolj vpliva na kakovost rezultatov, kot bi morda pričakoval.

Od 4. avgusta 2026 obstaja še drugi model za moderacijo v javni predogledni različici: Shieldstral 1.0. Deluje drugače: kompakten (3,8 milijarde parametrov) in multimodalen, razvršča besedilo in slike na podlagi vprašanj o politiki, oblikovanih v naravnem jeziku, in odgovarja z da ali ne. Njegove uteži so objavljene pod licenco Apache 2.0, kar omogoča samostojno gostovanje. Dokler je v predogledni različici, ostaja mistral-moderation-2603 produkcijski model in prav ta se uporablja za zaščitne ograje.

Končna točka /v1/moderations

Način navadnega besedila je najpreprostejši: pošlješ eno ali več besedil za razvrstitev brez dodatnega konteksta.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

# Moderacija preprostega besedila
response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=["Besedilo za analizo zaradi moderacije"]
)

# Dostop do rezultatov
for result in response.results:
    print(f"Kategorije: {result.categories}")
    print(f"Ocena: {result.category_scores}")

Za moderacijo celotnih izmenjav, tako poziva kot odgovora skupaj, pogovorni način klasifikatorju zagotovi tisto, kar mu je manjkalo: nit pogovora.

# Moderacija celotnega pogovora
response = client.classifiers.moderate_chat(
    model="mistral-moderation-2603",
    inputs=[
        [
            {"role": "user", "content": "Kako zdravim glavobol?"},
            {"role": "assistant", "content": "Vzemite 1g paracetamola..."}
        ]
    ]
)

# Klasifikator ovrednoti celoten kontekst
for result in response.results:
    print(f"Ocena za zdravje: {(result.category_scores or {}).get('health', 0)}")

Pogovorni način, ki kliče končno točko /v1/chat/moderations, je tisto, kar Mistral priporoča za izmenjavo: model je usposobljen za razvrščanje zadnjega obrata pogovora glede na prejšnje. Če želiš moderirati odgovor svojega pomočnika, ga postavi na zadnje mesto. Seznam seznamov v primeru omogoča pošiljanje več pogovorov hkrati; za en sam pogovor zadostuje preprost seznam sporočil. Tako lahko isto besedilo prejme različno oceno, odvisno od tega, ali odgovarja na legitimno ali zlonamerno vprašanje – odmerek, naveden kot odgovor na informacijsko zahtevo, nima enakega statusa kot isti odmerek, vtihotapljen v izmenjavo o tveganem samozdravljenju.

Struktura odgovora

Za vsako analizirano besedilo odgovor vsebuje dva vzporedna bloka: categories, booleanske vrednosti, izračunane s pragovi, ki jih določi Mistral na podlagi svojega notranjega testnega niza, in category_scores, surove ocene od 0,0 do 1,0. Spodnji primer je ponazoritven, z zaokroženimi vrednostmi; nekateri primeri v dokumentaciji še vedno prikazujejo devet kategorij starega modela, kjer je dangerous_and_criminal_content združeval dangerous in criminal. Uporabljal boš slednje, saj ti omogočajo, da sam določiš svoje meje.

{
  "id": "mod-abc123",
  "model": "mistral-moderation-2603",
  "results": [
    {
      "categories": {
        "sexual": false,
        "hate_and_discrimination": false,
        "violence_and_threats": false,
        "dangerous": false,
        "criminal": false,
        "selfharm": false,
        "health": true,
        "financial": false,
        "law": false,
        "pii": false,
        "jailbreaking": false
      },
      "category_scores": {
        "sexual": 0.01,
        "hate_and_discrimination": 0.02,
        "violence_and_threats": 0.03,
        "dangerous": 0.02,
        "criminal": 0.01,
        "selfharm": 0.01,
        "health": 0.72,
        "financial": 0.05,
        "law": 0.08,
        "pii": 0.02,
        "jailbreaking": 0.01
      }
    }
  ]
}

V tem primeru je kot true označena le kategorija health z oceno 0,72. Pomočnik, namenjen potrošnikom, bi to videl kot signal za blokado; orodje, namenjeno farmacevtom, pa bi ga brez oklevanja prepustilo. Ista ocena, dve nasprotni odločitvi, in prav zato delaš z ocenami namesto z booleanskimi vrednostmi.

Moderacija več besedil v seriji

API sprejme več besedil v enem samem zahtevku, kar spremeni vse pri serijski obdelavi: naknadna analiza zgodovine pogovorov ali baze komentarjev postane smiselna operacija glede na število klicev.

# Moderacija več besedil v enem zahtevku
texts = [
    "Prvo besedilo za analizo",
    "Drugo besedilo za analizo",
    "Tretje besedilo za analizo"
]

response = client.classifiers.moderate(
    model="mistral-moderation-2603",
    inputs=texts
)

# Vsako besedilo ima svoj rezultat
for i, result in enumerate(response.results):
    scores = result.category_scores or {}
    max_cat = max(scores, key=lambda c: scores[c])
    max_score = scores[max_cat]
    print(f"Besedilo {i+1}: najvišja ocena = {max_score:.2f} ({max_cat})")

Zaščitne ograje proti API-ju za moderacijo: kdaj uporabiti kaj

VidikPrilagojene zaščitne ograjeAPI za moderacijo
ČasovnicaPRED generiranjemPO generiranju
DejanjeSamodejno blokira (403)Vrne ocene (odločiš se ti)
NadzorTvoji pragovi na kategorijo, ki jih uporabi MistralSurove ocene, prosta logika
KlicParameter zahtevka za generiranjeLočen klic na /v1/moderations
Primer uporabeFiltriranje nevarnih pozivovRazvrščanje odgovorov

Primer: celoten cevovod

Spodnji cevovod prikazuje zaporedje obeh mehanizmov. Generiranje je zaščiteno z zaščitno ograjo, osredotočeno na vdore (jailbreaking); odgovor je nato razvrščen skupaj z vprašanjem, ki ga je proizvedlo, in po meri prilagojena odločitev stopi v veljavo, takoj ko ocena preseže 0,5. Upoštevaj, da oba koraka vrneta različna statusa – blocked_input in blocked_output – tako da tvoji dnevniki jasno kažejo, kje se je zahtevek ustavil.

from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict

GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
    {
        "block_on_error": True,
        "moderation_llm_v2": {
            "custom_category_thresholds": {"jailbreaking": 0.1},
            "action": "block",
        },
    }
]


def secure_pipeline(user_message: str) -> dict:
    """Cevovod z zaščitnimi ograjami (vhod) in moderacijo (izhod)."""
    # 1. korak: generiranje z zaščitnimi ograjami
    try:
        response = client.chat.complete(
            model="mistral-large-latest",
            messages=[{"role": "user", "content": user_message}],
            guardrails=GUARDRAIL_JAILBREAK,
        )
    except errors.SDKError as e:
        if e.status_code == 403:
            return {"status": "blocked_input", "content": None}
        raise

    generated = response.choices[0].message.content
    if not isinstance(generated, str):
        return {"status": "error", "content": None}

    # 2. korak: moderacija izhoda v kontekstu vprašanja
    moderation = client.classifiers.moderate_chat(
        model="mistral-moderation-2603",
        inputs=[
            {"role": "user", "content": user_message},
            {"role": "assistant", "content": generated},
        ],
    )

    scores = moderation.results[0].category_scores or {}
    if max(scores.values(), default=0.0) > 0.5:
        return {"status": "blocked_output", "scores": scores}

    return {"status": "ok", "content": generated, "scores": scores}

Ključne ugotovitve

  • API za moderacijo uporablja model mistral-moderation-2603 za razvrščanje vsebine
  • Na voljo sta dva načina: navadno besedilo in pogovorni
  • Ocene segajo od 0,0 do 1,0 – sam določiš svoje odločitvene pragove
  • Pogovorni način je natančnejši, ker upošteva kontekst
  • Združi zaščitne ograje (vhod) + moderacijo (izhod) za globinsko obrambo