API za moderacijo Mistral
Na tej strani
Posodobljeno 3. novembra 2026. Primer odgovora je prej vključeval neobstoječe ključe (
hate,violence,unpredictable); zdaj odraža enajst kategorij iz modelamistral-moderation-2603. Končni cevovod je prej uporabljal izmišljeno obliko zaščitnih ograj (enabled) in zaznaval blokade z iskanjem niza “403” v sporočilu o napaki: zdaj sledi uradni obliki in preverjae.status_code. Predstavitev modela sledi njegovemu uradnemu podatkovnemu listu, lekcija pa uvaja Shieldstral 1.0, model za moderacijo v javni predogledni različici od avgusta 2026. Koda je preverjena glede na tipe SDKmistralairazličice 3.7.0. Viri: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.
Razvrščanje vsebine po generiranju
Zaščitne ograje filtrirajo vhodne pozive. Kaj pa vsebina, ki jo generira model? Nedolžen poziv lahko proizvede problematičen odgovor: vprašanje srednješolca o drugi svetovni vojni lahko sproži opis, ki ga ne želite prikazati brez opozoril. To je vloga API-ja za moderacijo: analizirati vsebino naknadno in dodeliti ocene tveganja po kategorijah.
API za moderacijo je tvoja druga obrambna linija – dopolnjuje zaščitne ograje in ustvarja celovito varnostno arhitekturo, z eno glavno razliko: samodejno ne blokira ničesar, temveč te le obvešča.
Model Mistral Moderation 2
Namenski model za moderacijo se imenuje mistral-moderation-2603 (Mistral Moderation 2, različica iz marca 2026). Gre za specializiran klasifikator, ki se razlikuje od generativnih modelov: ne piše besedila, temveč dodeljuje ocene. Njegov uradni podatkovni list poudarja kontekstno okno s 128.000 žetoni, zaznavanje vdorov (jailbreak) in močno zmogljivost pri kompleksni večjezični vsebini, vključno z dolgimi pogovori. Nadomešča model mistral-moderation-2411, ki je bil umaknjen 31. marca 2026.
Vsako besedilo oceni v 11 kategorijah, pri čemer je ocena za vsako kategorijo od 0,0 do 1,0. Sprejema dva načina vnosa: navadno besedilo ali pogovorni način, izbira med njima pa bolj vpliva na kakovost rezultatov, kot bi morda pričakoval.
Od 4. avgusta 2026 obstaja še drugi model za moderacijo v javni predogledni različici: Shieldstral 1.0. Deluje drugače: kompakten (3,8 milijarde parametrov) in multimodalen, razvršča besedilo in slike na podlagi vprašanj o politiki, oblikovanih v naravnem jeziku, in odgovarja z da ali ne. Njegove uteži so objavljene pod licenco Apache 2.0, kar omogoča samostojno gostovanje. Dokler je v predogledni različici, ostaja mistral-moderation-2603 produkcijski model in prav ta se uporablja za zaščitne ograje.
Končna točka /v1/moderations
Način navadnega besedila je najpreprostejši: pošlješ eno ali več besedil za razvrstitev brez dodatnega konteksta.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Moderacija preprostega besedila
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Besedilo za analizo zaradi moderacije"]
)
# Dostop do rezultatov
for result in response.results:
print(f"Kategorije: {result.categories}")
print(f"Ocena: {result.category_scores}")
Za moderacijo celotnih izmenjav, tako poziva kot odgovora skupaj, pogovorni način klasifikatorju zagotovi tisto, kar mu je manjkalo: nit pogovora.
# Moderacija celotnega pogovora
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "Kako zdravim glavobol?"},
{"role": "assistant", "content": "Vzemite 1g paracetamola..."}
]
]
)
# Klasifikator ovrednoti celoten kontekst
for result in response.results:
print(f"Ocena za zdravje: {(result.category_scores or {}).get('health', 0)}")
Pogovorni način, ki kliče končno točko /v1/chat/moderations, je tisto, kar Mistral priporoča za izmenjavo: model je usposobljen za razvrščanje zadnjega obrata pogovora glede na prejšnje. Če želiš moderirati odgovor svojega pomočnika, ga postavi na zadnje mesto. Seznam seznamov v primeru omogoča pošiljanje več pogovorov hkrati; za en sam pogovor zadostuje preprost seznam sporočil. Tako lahko isto besedilo prejme različno oceno, odvisno od tega, ali odgovarja na legitimno ali zlonamerno vprašanje – odmerek, naveden kot odgovor na informacijsko zahtevo, nima enakega statusa kot isti odmerek, vtihotapljen v izmenjavo o tveganem samozdravljenju.
Struktura odgovora
Za vsako analizirano besedilo odgovor vsebuje dva vzporedna bloka: categories, booleanske vrednosti, izračunane s pragovi, ki jih določi Mistral na podlagi svojega notranjega testnega niza, in category_scores, surove ocene od 0,0 do 1,0. Spodnji primer je ponazoritven, z zaokroženimi vrednostmi; nekateri primeri v dokumentaciji še vedno prikazujejo devet kategorij starega modela, kjer je dangerous_and_criminal_content združeval dangerous in criminal. Uporabljal boš slednje, saj ti omogočajo, da sam določiš svoje meje.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
V tem primeru je kot true označena le kategorija health z oceno 0,72. Pomočnik, namenjen potrošnikom, bi to videl kot signal za blokado; orodje, namenjeno farmacevtom, pa bi ga brez oklevanja prepustilo. Ista ocena, dve nasprotni odločitvi, in prav zato delaš z ocenami namesto z booleanskimi vrednostmi.
Moderacija več besedil v seriji
API sprejme več besedil v enem samem zahtevku, kar spremeni vse pri serijski obdelavi: naknadna analiza zgodovine pogovorov ali baze komentarjev postane smiselna operacija glede na število klicev.
# Moderacija več besedil v enem zahtevku
texts = [
"Prvo besedilo za analizo",
"Drugo besedilo za analizo",
"Tretje besedilo za analizo"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Vsako besedilo ima svoj rezultat
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"Besedilo {i+1}: najvišja ocena = {max_score:.2f} ({max_cat})")
Zaščitne ograje proti API-ju za moderacijo: kdaj uporabiti kaj
| Vidik | Prilagojene zaščitne ograje | API za moderacijo |
|---|---|---|
| Časovnica | PRED generiranjem | PO generiranju |
| Dejanje | Samodejno blokira (403) | Vrne ocene (odločiš se ti) |
| Nadzor | Tvoji pragovi na kategorijo, ki jih uporabi Mistral | Surove ocene, prosta logika |
| Klic | Parameter zahtevka za generiranje | Ločen klic na /v1/moderations |
| Primer uporabe | Filtriranje nevarnih pozivov | Razvrščanje odgovorov |
Primer: celoten cevovod
Spodnji cevovod prikazuje zaporedje obeh mehanizmov. Generiranje je zaščiteno z zaščitno ograjo, osredotočeno na vdore (jailbreaking); odgovor je nato razvrščen skupaj z vprašanjem, ki ga je proizvedlo, in po meri prilagojena odločitev stopi v veljavo, takoj ko ocena preseže 0,5. Upoštevaj, da oba koraka vrneta različna statusa – blocked_input in blocked_output – tako da tvoji dnevniki jasno kažejo, kje se je zahtevek ustavil.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Cevovod z zaščitnimi ograjami (vhod) in moderacijo (izhod)."""
# 1. korak: generiranje z zaščitnimi ograjami
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# 2. korak: moderacija izhoda v kontekstu vprašanja
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Ključne ugotovitve
- API za moderacijo uporablja model
mistral-moderation-2603za razvrščanje vsebine - Na voljo sta dva načina: navadno besedilo in pogovorni
- Ocene segajo od 0,0 do 1,0 – sam določiš svoje odločitvene pragove
- Pogovorni način je natančnejši, ker upošteva kontekst
- Združi zaščitne ograje (vhod) + moderacijo (izhod) za globinsko obrambo