L-API ta' Moderazzjoni ta' Mistral
F'din il-paġna
Aġġornat fit-3 ta’ Novembru, 2026. L-eżempju tar-risposta qabel kien jinkludi ċwievet li ma jeżistux (
hate,violence,unpredictable); issa jirrifletti l-ħdax-il kategorija minnmistral-moderation-2603. Il-pipeline finali qabel kien juża format ta’ guardrail inventat (enabled) u kien jiskopri l-imblukkar billi jfittex “403” fil-messaġġ tal-iżball: issa jsegwi l-format uffiċjali u jiċċekkjae.status_code. Il-preżentazzjoni tal-mudell taderixxi mad-datasheet uffiċjali tiegħu, u d-dars tintroduċi Shieldstral 1.0, il-mudell ta’ moderazzjoni f’preview pubbliku minn Awwissu 2026. Il-kodiċi ġie vverifikat kontra t-tipi tal-SDKmistralaiverżjoni 3.7.0. Sorsi: Moderation & Guardrailing · Mistral Moderation 2 · Shieldstral 1.0.
Ikklassifika l-kontenut wara l-ġenerazzjoni
Il-guardrails jiffiltraw il-prompts tal-input. Imma x’inhu dwar il-kontenut iġġenerat mill-mudell? Prompt innoċenti jista’ jipproduċi tweġiba problematika: mistoqsija ta’ student tal-iskola sekondarja dwar it-Tieni Gwerra Dinjija tista’ twassal għal deskrizzjoni li ma tridx turi mingħajr avvertenzi. Dak hu r-rwol tal-API ta’ Moderazzjoni: li tanalizza l-kontenut wara l-fatt u tassenja punteġġi tar-riskju skont il-kategorija.
L-API ta’ Moderazzjoni hija t-tieni linja tad-difiża tiegħek—tikkomplementa l-guardrails biex toħloq arkitettura ta’ sigurtà sħiħa, b’differenza ewlenija waħda: ma timblokka xejn waħedha; tinformak biss.
Il-mudell Mistral Moderation 2
Il-mudell dedikat għall-moderazzjoni jissejjaħ mistral-moderation-2603 (Mistral Moderation 2, verżjoni ta’ Marzu 2026). Huwa klassifikatur speċjalizzat, distint mill-mudelli tal-ġenerazzjoni: ma jiktibx test, iżda jassenja punteġġi. Id-datasheet uffiċjali tiegħu jenfasizza tieqa tal-kuntest ta’ 128,000 token, detezzjoni ta’ jailbreak, u prestazzjoni qawwija fuq kontenut multilingwi kumpless, inkluż konversazzjonijiet twal. Jissostitwixxi mistral-moderation-2411, li ġie deprekat fil-31 ta’ Marzu, 2026.
Jippreżenta kull test fuq 11-il kategorija, b’punteġġ minn 0.0 sa 1.0 għal kull kategorija. Jaċċetta żewġ modalitajiet ta’ input, test sempliċi jew konversazzjonali, u l-għażla bejniethom taffettwa l-kwalità tar-riżultati aktar milli tista’ timmaġina.
Tieni mudell ta’ moderazzjoni jeżisti mill-4 ta’ Awwissu, 2026, f’preview pubbliku: Shieldstral 1.0. Jaħdem b’mod differenti: kompatt (3.8 biljun parametru) u multimodali, jikklassifika testi u stampati abbażi ta’ mistoqsijiet dwar il-politika fformulati f’lingwa naturali, u jwieġeb iva jew le. Il-piżijiet tiegħu huma ppubblikati taħt il-liċenzja Apache 2.0, li jippermetti self-hosting. Sakemm jibqa’ f’preview, mistral-moderation-2603 jibqa’ l-mudell tal-produzzjoni, u huwa dak użat għall-guardrails.
L-endpoint /v1/moderations
Il-modalità tat-test sempliċi hija l-aktar sempliċi: tibgħat test wieħed jew aktar biex jiġu kklassifikati, mingħajr kuntest addizzjonali.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
# Moderate simple text
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=["Text to analyze for moderation"]
)
# Access results
for result in response.results:
print(f"Categories: {result.categories}")
print(f"Scores: {result.category_scores}")
Biex timmodera skambji sħaħ, il-prompt u t-tweġiba flimkien, il-modalità konversazzjonali tagħti lill-klassifikatur dak li kien jonqsu: il-fil tal-konversazzjoni.
# Moderate a complete conversation
response = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
[
{"role": "user", "content": "How do I treat a headache?"},
{"role": "assistant", "content": "Take 1g of paracetamol..."}
]
]
)
# The classifier evaluates the full context
for result in response.results:
print(f"Health score: {(result.category_scores or {}).get('health', 0)}")
Il-modalità konversazzjonali, li ssejjaħ l-endpoint /v1/chat/moderations, hija dak li Mistral jirrakkomanda għal skambju: il-mudell huwa mħarreġ biex jikklassifika l-aħħar dawra tal-konversazzjoni fid-dawl ta’ dawk ta’ qabilha. Biex timmodera t-tweġiba tal-assistent tiegħek, poġġiha l-aħħar. Il-lista ta’ listi fl-eżempju tippermetti li tibgħat konversazzjonijiet multipli f’daqqa; lista sempliċi ta’ messaġġi biżżejjed għal waħda waħda. L-istess test għalhekk jista’ jirċievi punteġġ differenti skont jekk iwieġibx mistoqsija leġittima jew malizzjuża—dożaġġ iċċitat bħala tweġiba għal talba għal informazzjoni m’għandux l-istess status bħall-istess dożaġġ imdaħħal f’skambju dwar awto-mediċina riskjuża.
Struttura tar-risposta
Għal kull test analizzat, ir-risposta fiha żewġ blokok paralleli: categories, booleans ikkalkulati b’limiti stabbiliti minn Mistral abbażi tas-sett tat-test intern tiegħu, u category_scores, il-punteġġi raw minn 0.0 sa 1.0. L-eżempju hawn taħt huwa illustrattiv, b’valuri mqaċċra; xi eżempji tad-dokumentazzjoni għadhom juru d-disa’ kategoriji tal-mudell l-antik, fejn dangerous_and_criminal_content kienet tgħaqqad dangerous u criminal. Inti se tuża dawn tal-aħħar għax jħalluk tistabbilixxi l-limiti tiegħek stess.
{
"id": "mod-abc123",
"model": "mistral-moderation-2603",
"results": [
{
"categories": {
"sexual": false,
"hate_and_discrimination": false,
"violence_and_threats": false,
"dangerous": false,
"criminal": false,
"selfharm": false,
"health": true,
"financial": false,
"law": false,
"pii": false,
"jailbreaking": false
},
"category_scores": {
"sexual": 0.01,
"hate_and_discrimination": 0.02,
"violence_and_threats": 0.03,
"dangerous": 0.02,
"criminal": 0.01,
"selfharm": 0.01,
"health": 0.72,
"financial": 0.05,
"law": 0.08,
"pii": 0.02,
"jailbreaking": 0.01
}
}
]
}
F’dan l-eżempju, biss health hija mmarkata bħala true, b’0.72. Assistent orjentat lejn il-konsumatur jara dan bħala sinjal ta’ blokk; għodda maħsuba għall-ispiżjara tħalliha tgħaddi mingħajr ebda esitazzjoni. L-istess punteġġ, żewġ deċiżjonijiet opposti, u dan huwa preċiżament għaliex taħdem b’punteġġi minflok booleans.
Immodera testi multipli f’lott
L-API taċċetta testi multipli f’talba waħda, li tbiddel kollox għall-ipproċessar f’lott: l-analiżi retroattiva ta’ storja ta’ konversazzjoni jew database ta’ kummenti ssir operazzjoni raġonevoli f’termini ta’ għadd ta’ sejħiet.
# Moderate multiple texts in a single request
texts = [
"First text to analyze",
"Second text to analyze",
"Third text to analyze"
]
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=texts
)
# Each text has its own result
for i, result in enumerate(response.results):
scores = result.category_scores or {}
max_cat = max(scores, key=lambda c: scores[c])
max_score = scores[max_cat]
print(f"Text {i+1}: max score = {max_score:.2f} ({max_cat})")
Guardrails vs API ta’ Moderazzjoni: meta tuża x’
| Aspett | Custom Guardrails | Moderation API |
|---|---|---|
| Ħin | QABEL il-ġenerazzjoni | WARA l-ġenerazzjoni |
| Azzjoni | Timblokka awtomatikament (403) | Tirritorna punteġġi (tiddeċiedi int) |
| Kontroll | Il-limiti tiegħek għal kull kategorija, applikati minn Mistral | Punteġġi raw, loġika ħielsa |
| Sejħa | Parametru tat-talba tal-ġenerazzjoni | Sejħa separata lejn /v1/moderations |
| Każ ta’ użu | Iffiltra prompts perikolużi | Ikklassifika tweġibiet |
Eżempju: pipeline sħiħa
Il-pipeline hawn taħt turi s-sekwenzjar taż-żewġ mekkaniżmi. Il-ġenerazzjoni hija protetta minn guardrail iffukat fuq il-jailbreaking; it-tweġiba mbagħad tiġi kklassifikata flimkien mal-mistoqsija li pproduċietha, u deċiżjoni personalizzata tintervena mallja punteġġ jaqbeż 0.5. Innota li ż-żewġ passi jirritornaw status distinti—blocked_input u blocked_output—biex il-logs tiegħek jgħidulek b’mod ċar fejn waqfet it-talba.
from mistralai.client import errors
from mistralai.client.models import GuardrailConfigTypedDict
GUARDRAIL_JAILBREAK: list[GuardrailConfigTypedDict] = [
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"jailbreaking": 0.1},
"action": "block",
},
}
]
def secure_pipeline(user_message: str) -> dict:
"""Pipeline with guardrails (input) and moderation (output)."""
# Step 1: generate with guardrails
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=GUARDRAIL_JAILBREAK,
)
except errors.SDKError as e:
if e.status_code == 403:
return {"status": "blocked_input", "content": None}
raise
generated = response.choices[0].message.content
if not isinstance(generated, str):
return {"status": "error", "content": None}
# Step 2: moderate the output, in the context of the question
moderation = client.classifiers.moderate_chat(
model="mistral-moderation-2603",
inputs=[
{"role": "user", "content": user_message},
{"role": "assistant", "content": generated},
],
)
scores = moderation.results[0].category_scores or {}
if max(scores.values(), default=0.0) > 0.5:
return {"status": "blocked_output", "scores": scores}
return {"status": "ok", "content": generated, "scores": scores}
Punti Ewlenin
- L-API ta’ Moderazzjoni tuża l-mudell
mistral-moderation-2603biex tikklassifika l-kontenut - Żewġ modalitajiet disponibbli: test sempliċi u konversazzjonali
- Il-punteġġi jvarjaw minn 0.0 sa 1.0—int tiddefinixxi l-limiti tad-deċiżjoni tiegħek stess
- Il-modalità konversazzjonali hija aktar preċiża għax tqis il-kuntest
- Għaqqad guardrails (input) + moderazzjoni (output) għal difensa f’fond