Sainrialacha Saincheaptha: Blocáil Roimh an Mhúnla
Ar an leathanach seo
An ceacht athscríofa an 3 Samhain, 2026. Chuir an leagan roimhe seo síos ar pharaiméadar ficseanúil
guardrails(foclóir leenabled), ar chatagóirí nach raibh ann (hate,violence), ar mhodhconversation.send()in easnamh san SDK, agus ar fhreagairtí JSON samhailteacha. Is liosta de chumraíochtaímoderation_llm_v2an formáid oifigiúil, agus tá na freagairtí thíos ag teacht leis an doiciméadúcht. Rinneadh an cód a fhíorú i gcoinne cineálacha SDKmistralaileagan 3.7.0. Foinse: Moderation & Guardrailing · mistralai Python SDK.
Prionsabal na Sainrialach Saincheaptha
Feidhmíonn Sainrialacha Saincheaptha Mistral mar scagaire ionchuir: déanann siad anailís ar leid an úsáideora sula sroicheann sé an múnla giniúna. Má sháraíonn an t-ábhar aon tairseach a shocraigh tú, cuirtear bac ar an iarratas le hearráid HTTP 403. Ní fheiceann an múnla an leid fhadhbach riamh.
Coinnigh dhá theorainn i gcuimhne ón tús. Ar an gcéad dul síos, déanann sainrialacha measúnú ar an ionchur amháin; ní sheiceálann siad cad a ghineann an múnla. Sin ról an API Moderation (Ceacht 5). Ar an dara dul síos, cuireann siad in ionad obair a bheadh ort a chódáil murach sin: glaoch ar an API Moderation, scóir a chur i gcomparáid le do thairseacha, agus an t-iarratas a dhiúltú.
Conas a Oibríonn Sé
Nuair a chuireann tú sainrialacha le hiarratas, seo an sreabhadh ar thaobh Mistral:
- Seolann d’iarratas an iarratas leis an bparaiméadar
guardrails. - Déanann an t-aicmitheoir
mistral-moderation-2603scórú ar an leid i ngach catagóir. - Má sháraíonn scór a thairseach, filleann an API earráid
403agus ní ghlaotar ar an múnla. - Mura ndéanann, próiseálann an múnla an t-iarratas de ghnáth.
- Áirítear réimse
guardrailssa fhreagairt ina bhfuil na scóir a measúnaíodh.
Flow: prompt → [mistral-moderation-2603] → score > threshold? → 403 (blocked)
→ else → [LLM] → response + scores
Braitheann an cinneadh ar scór a chuirtear i gcomparáid le tairseach a shocraíonn tú féin, catagóir ar chatagóir, idir 0 agus 1. Bacann tairseach íseal níos mó ábhair; díchumasaíonn tairseach 1 an chatagóir go sonrach.
Formáid an Pharaiméadair guardrails
Is liosta é an paraiméadar. Is réad é gach eilimint ina bhfuil cumraíocht moderation_llm_v2 agus, in éineacht leis, an rogha block_on_error:
guardrails = [
{
"block_on_error": True, # blocáil má theipeann ar an measúnú féin
"moderation_llm_v2": {
"custom_category_thresholds": {
"jailbreaking": 0.3,
"criminal": 0.2,
},
"ignore_other_categories": False,
"action": "block",
},
}
]
| Eochair | Suíomh | Ról |
|---|---|---|
custom_category_thresholds | laistigh de moderation_llm_v2 | Tairseach ó 0 go 1 in aghaidh na catagóire; díchumasaíonn 1 an chatagóir |
ignore_other_categories | laistigh de moderation_llm_v2 | True: ní dhéantar measúnú ach ar na catagóirí atá liostaithe |
action | laistigh de moderation_llm_v2 | "block" chun an t-iarratas a dhiúltú má sháraítear tairseach |
model_name | laistigh de moderation_llm_v2, roghnach | Múnla measúnaithe seachas an réamhshocrú mistral-moderation-2603 |
block_on_error | in aice le moderation_llm_v2 | True: blocáiltear an t-iarratas má theipeann ar an measúnú |
Is féidir leat réada iolracha a chur sa liosta: blocáiltear an t-iarratas a luaithe a spreagann ceann ar bith acu é. Níl ach cumraíocht amháin moderation_llm_v2 i ngach réad. Tá cumraíocht níos sine, moderation_llm_v1, fós ann san SDK le catagóirí ón mhúnla díobhálaithe mistral-moderation-2411 (díobhálaithe an 31 Márta, 2026): ná húsáid é do thionscadail nua.
An tAon Chatagóir Déag
Tá na heochracha i custom_category_thresholds seasta; ní chiallaíonn eochair eile, mar shampla violence nó hate, aon rud:
| Eochair | Cad a bhrathann sé |
|---|---|
sexual | Ábhar gnéasach follasach |
hate_and_discrimination | Fuath nó idirdhealú bunaithe ar shaintréithe cosanta |
violence_and_threats | Foréigean fisiceach curtha síos, moltha, nó bagarthaithe |
dangerous | Iompraíochtaí atá thar a bheith contúirteach |
criminal | Gníomhaíochtaí mídhleathacha |
selfharm | Féin-dhochar, féinmharú, neamhoird itheacháin |
health | Iarratais ar chomhairle leighis mhionsonraithe nó phearsantaithe |
financial | Iarratais ar chomhairle airgeadais mhionsonraithe nó phearsantaithe |
law | Iarratais ar chomhairle dhlíthiúil mhionsonraithe nó phearsantaithe |
pii | Sonraí pearsanta á n-iarradh nó á roinnt |
jailbreaking | Iarrachtaí rialacha an mhúnla a shárú |
Déanann Ceacht 6 athbhreithniú ar gach ceann díobh seo agus pléann sé roghnú tairseach.
Na Trí Leibhéal Feidhmithe
Glactar leis an bparaiméadar céanna in trí áit. Cinneann do rogha cá bhfuil do bheartas slándála ina chónaí agus cé a d’fhéadfadh dearmad a dhéanamh é a chur i bhfeidhm.
Leibhéal 1: Iarratas Críochnú Comhrá
Cuirtear guardrails san iarratas chat.complete(). Iompraíonn gach iarratas a rialacha féin: praiticiúil le haghaidh taiscéalaíochta, ach rioscach ar scála, ós rud é go n-éalaíonn glao amháin gan an paraiméadar gan seiceáil.
import os
from mistralai.client import Mistral
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": "What is the distance from the Earth to the Moon?"}],
guardrails=[
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"sexual": 0.1, "selfharm": 0.1},
"ignore_other_categories": False,
"action": "block",
},
}
],
)
print(response.choices[0].message.content)
Cás úsáide: Prototyping, glaonna aonuaire, tairseacha a bheachtú.
Leibhéal 2: Comhrá
Leis an API Comhráite, cuirtear guardrails ag an am tosaithe, in client.beta.conversations.start():
conversation = client.beta.conversations.start(
model="mistral-large-latest",
inputs="Hello, can you help me prepare for an interview?",
guardrails=[
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {
"sexual": 0.2,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.3,
"selfharm": 0.1,
},
"action": "block",
},
}
],
)
for entree in conversation.outputs:
if entree.type == "message.output":
print(entree.content)
Seoltar teachtaireachtaí ina dhiaidh sin le client.beta.conversations.append(conversation_id=conversation.conversation_id, inputs=...). Ní ghlacann an modh seo le paraiméadar guardrails in SDK 3.7.0, agus ní shonraíonn an doiciméadúcht an bhfuil feidhm ag sainrialacha tosaithe maidir le casanna ina dhiaidh sin. Chun cosaint ráthaithe a bheith agat ar gach cas, ceangail sainrialacha le gníomhaire.
Cás úsáide: Comhrá aonuaire gan gníomhaire, nó sainrialacha gníomhaire a shárú d’iarratas sonrach.
Leibhéal 3: Gníomhaire
Éiríonn sainrialacha a chuirtear ar client.beta.agents.create() mar chuid de shainmhíniú an ghníomhaire. De réir na doiciméadúchta, gach comhrá a úsáideann an gníomhaire seo, faigheann siad oidhreacht orthu gan gá iad a athrá. Mar sin féin, is féidir le hiarratas comhrá iad a shárú trí guardrails dá chuid féin a rith.
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Secure Assistant",
instructions="You are a professional customer service assistant.",
guardrails=[
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.2,
"criminal": 0.1,
"selfharm": 0.1,
"jailbreaking": 0.3,
},
"ignore_other_categories": False,
"action": "block",
},
}
],
)
conversation = client.beta.conversations.start(agent_id=agent.id, inputs="Hello!")
Cás úsáide: Táirgeadh, nuair a ghlaonn foirne nó seirbhísí iolracha ar an gcúntóir céanna.
Cad a Fhilltear ag Sainrialacha
Nuair a théann an t-iarratas tríd, áirítear réimse guardrails i bhfreagairt an API, in éineacht le réimsí caighdeánacha: liosta le toradh amháin in aghaidh gach sainrialach. Seo an réimse sin ó shampla na doiciméadúchta:
{
"guardrails": [
{
"moderation_llm_v2": {
"action": "pass",
"categories": {
"sexual": { "score": 0.03, "violated": false },
"selfharm": { "score": 0.05, "violated": false },
"violence_and_threats": { "score": 0.0, "violated": false },
"hate_and_discrimination": { "score": 0.0, "violated": false }
}
}
}
]
}
Le ignore_other_categories socraithe ar True, ní fheictear ach na catagóirí atá liostaithe i do thairseacha sa toradh seo. San SDK Python, nochtann freagairt comhrá an réimse seo (conversation.guardrails). Níl aon réimse sonraithe aige i bhfreagairt chat.complete(), áfach, in SDK 3.7.0: cailleadh ann é. Más mian leat scóir a logáil — agus tá sé úsáideach a fhios ina dhiaidh sin an bhfuil do thairseacha ró scaoilte nó ró dhaingean — úsáid comhráite nó léigh an fhreagairt HTTP amh.
Nuair a sháraítear tairseach, filleann an API earráid 403 ina bhfuil mionsonraí ar an gcinneadh, catagóir ar chatagóir, sa chorp:
{
"error": { "message": "Content blocked by guardrail", "status": 403 },
"guardrails": {
"results": {
"moderation_llm_v2": {
"model_name": "mistral-moderation-2603",
"decisions": {
"sexual": { "threshold": 0.1, "score": 0.3, "violated": true },
"selfharm": { "threshold": 0.1, "score": 0.05, "violated": false }
},
"violated": true,
"action": "block"
}
}
}
}
Ansin ardaíonn an SDK errors.SDKError, áit a bhfuil status_code cothrom le 403 agus ina bhfuil an JSON seo i body:
import json
from mistralai.client import errors
try:
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": user_message}],
guardrails=guardrails,
)
except errors.SDKError as e:
if e.status_code != 403:
raise
decisions = json.loads(e.body)["guardrails"]["results"]["moderation_llm_v2"]["decisions"]
violated = [name for name, d in decisions.items() if d["violated"]]
print(f"Request blocked: {violated}")
Ligeann an páilead seo duit bac a mhíniú le linn achomhairc: cén chatagóir, cén scór, cén tairseach.
Ar deireadh, tá an cás íslithe ann. Má theipeann ar an measúnú féin agus má tá block_on_error set to True, diúltaítear an t-iarratas le cód earráide 3201 agus an teachtaireacht Request blocked due to error in guardrail evaluation and block_on_error is set to True. Is mód sábháilte teipthe é seo: nuair atá amhras ort, blocáil. Le block_on_error socraithe ar False (a luach réamhshocraithe san SDK), rachadh an t-iarratas tríd gan seiceáil.
An Leibhéal Ceart a Roghnú
| Critéar | Críochnú Comhrá | Comhrá | Gníomhaire |
|---|---|---|---|
| Cá ndéantar na sainrialacha a dhearbhú | I ngach glao | Ag tosú (start) | Ag cruthú gníomhaire |
| Oidhreacht | Ceann ar bith | Gan doiciméadú do chasanna ina dhiaidh sin | Gach comhrá gníomhaire |
| In-sáraithe | — | — | Tá, le hiarratas comhrá |
| Cás úsáide | Tástálacha, tairseacha a bheachtú | Comhrá aonuaire | Táirgeadh |
Go praiticiúil, beartaigh do thairseacha ar iarratais Críochnú Comhrá ag baint úsáide as cásanna fíor, ansin bog an beartas chuig gníomhaire a luaithe a fhágann an cód do mheaisín: ní bheidh aon ghlaonna dearmadta ann a thuilleadh.
Príomhphointí
- Bacann sainrialacha leideanna roimh an múnla trí earráid
403; ní sheiceálann siad aschur - Is liosta de réada
{"block_on_error": ..., "moderation_llm_v2": {...}}an paraiméadar, ní foclóir leenabled - Aon chatagóir déag le hainmneacha seasta (
hate_and_discrimination,violence_and_threats, …), gach ceann le tairseach ó 0 go 1; díchumasaíonn1iad - Trí leibhéal:
chat.complete(),conversations.start(),agents.create(); aistríonn gníomhairí a gcuid sainrialacha chuig a gcuid comhráite go léir - Cinntíonn
block_on_error=Trueiompraíocht sábháilte teipthe (earráid3201)