Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Sainrialacha Saincheaptha: Blocáil Roimh an Mhúnla

Ceacht 2 as 12 Nuashonraithe 3 Samhain 2026 Forbróir
Ar an leathanach seo
  1. Prionsabal na Sainrialach Saincheaptha
  2. Conas a Oibríonn Sé
  3. Formáid an Pharaiméadair guardrails
  4. An tAon Chatagóir Déag
  5. Na Trí Leibhéal Feidhmithe
  6. Cad a Fhilltear ag Sainrialacha
  7. An Leibhéal Ceart a Roghnú
  8. Príomhphointí

An ceacht athscríofa an 3 Samhain, 2026. Chuir an leagan roimhe seo síos ar pharaiméadar ficseanúil guardrails (foclóir le enabled), ar chatagóirí nach raibh ann (hate, violence), ar mhodh conversation.send() in easnamh san SDK, agus ar fhreagairtí JSON samhailteacha. Is liosta de chumraíochtaí moderation_llm_v2 an formáid oifigiúil, agus tá na freagairtí thíos ag teacht leis an doiciméadúcht. Rinneadh an cód a fhíorú i gcoinne cineálacha SDK mistralai leagan 3.7.0. Foinse: Moderation & Guardrailing · mistralai Python SDK.

Prionsabal na Sainrialach Saincheaptha

Feidhmíonn Sainrialacha Saincheaptha Mistral mar scagaire ionchuir: déanann siad anailís ar leid an úsáideora sula sroicheann sé an múnla giniúna. Má sháraíonn an t-ábhar aon tairseach a shocraigh tú, cuirtear bac ar an iarratas le hearráid HTTP 403. Ní fheiceann an múnla an leid fhadhbach riamh.

Coinnigh dhá theorainn i gcuimhne ón tús. Ar an gcéad dul síos, déanann sainrialacha measúnú ar an ionchur amháin; ní sheiceálann siad cad a ghineann an múnla. Sin ról an API Moderation (Ceacht 5). Ar an dara dul síos, cuireann siad in ionad obair a bheadh ort a chódáil murach sin: glaoch ar an API Moderation, scóir a chur i gcomparáid le do thairseacha, agus an t-iarratas a dhiúltú.

Conas a Oibríonn Sé

Nuair a chuireann tú sainrialacha le hiarratas, seo an sreabhadh ar thaobh Mistral:

  1. Seolann d’iarratas an iarratas leis an bparaiméadar guardrails.
  2. Déanann an t-aicmitheoir mistral-moderation-2603 scórú ar an leid i ngach catagóir.
  3. Má sháraíonn scór a thairseach, filleann an API earráid 403 agus ní ghlaotar ar an múnla.
  4. Mura ndéanann, próiseálann an múnla an t-iarratas de ghnáth.
  5. Áirítear réimse guardrails sa fhreagairt ina bhfuil na scóir a measúnaíodh.
Flow: prompt → [mistral-moderation-2603] → score > threshold? → 403 (blocked)
                                           → else             → [LLM] → response + scores

Braitheann an cinneadh ar scór a chuirtear i gcomparáid le tairseach a shocraíonn tú féin, catagóir ar chatagóir, idir 0 agus 1. Bacann tairseach íseal níos mó ábhair; díchumasaíonn tairseach 1 an chatagóir go sonrach.

Formáid an Pharaiméadair guardrails

Is liosta é an paraiméadar. Is réad é gach eilimint ina bhfuil cumraíocht moderation_llm_v2 agus, in éineacht leis, an rogha block_on_error:

guardrails = [
    {
        "block_on_error": True,          # blocáil má theipeann ar an measúnú féin
        "moderation_llm_v2": {
            "custom_category_thresholds": {
                "jailbreaking": 0.3,
                "criminal": 0.2,
            },
            "ignore_other_categories": False,
            "action": "block",
        },
    }
]
EochairSuíomhRól
custom_category_thresholdslaistigh de moderation_llm_v2Tairseach ó 0 go 1 in aghaidh na catagóire; díchumasaíonn 1 an chatagóir
ignore_other_categorieslaistigh de moderation_llm_v2True: ní dhéantar measúnú ach ar na catagóirí atá liostaithe
actionlaistigh de moderation_llm_v2"block" chun an t-iarratas a dhiúltú má sháraítear tairseach
model_namelaistigh de moderation_llm_v2, roghnachMúnla measúnaithe seachas an réamhshocrú mistral-moderation-2603
block_on_errorin aice le moderation_llm_v2True: blocáiltear an t-iarratas má theipeann ar an measúnú

Is féidir leat réada iolracha a chur sa liosta: blocáiltear an t-iarratas a luaithe a spreagann ceann ar bith acu é. Níl ach cumraíocht amháin moderation_llm_v2 i ngach réad. Tá cumraíocht níos sine, moderation_llm_v1, fós ann san SDK le catagóirí ón mhúnla díobhálaithe mistral-moderation-2411 (díobhálaithe an 31 Márta, 2026): ná húsáid é do thionscadail nua.

An tAon Chatagóir Déag

Tá na heochracha i custom_category_thresholds seasta; ní chiallaíonn eochair eile, mar shampla violence nó hate, aon rud:

EochairCad a bhrathann sé
sexualÁbhar gnéasach follasach
hate_and_discriminationFuath nó idirdhealú bunaithe ar shaintréithe cosanta
violence_and_threatsForéigean fisiceach curtha síos, moltha, nó bagarthaithe
dangerousIompraíochtaí atá thar a bheith contúirteach
criminalGníomhaíochtaí mídhleathacha
selfharmFéin-dhochar, féinmharú, neamhoird itheacháin
healthIarratais ar chomhairle leighis mhionsonraithe nó phearsantaithe
financialIarratais ar chomhairle airgeadais mhionsonraithe nó phearsantaithe
lawIarratais ar chomhairle dhlíthiúil mhionsonraithe nó phearsantaithe
piiSonraí pearsanta á n-iarradh nó á roinnt
jailbreakingIarrachtaí rialacha an mhúnla a shárú

Déanann Ceacht 6 athbhreithniú ar gach ceann díobh seo agus pléann sé roghnú tairseach.

Na Trí Leibhéal Feidhmithe

Glactar leis an bparaiméadar céanna in trí áit. Cinneann do rogha cá bhfuil do bheartas slándála ina chónaí agus cé a d’fhéadfadh dearmad a dhéanamh é a chur i bhfeidhm.

Leibhéal 1: Iarratas Críochnú Comhrá

Cuirtear guardrails san iarratas chat.complete(). Iompraíonn gach iarratas a rialacha féin: praiticiúil le haghaidh taiscéalaíochta, ach rioscach ar scála, ós rud é go n-éalaíonn glao amháin gan an paraiméadar gan seiceáil.

import os

from mistralai.client import Mistral

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

response = client.chat.complete(
    model="mistral-large-latest",
    messages=[{"role": "user", "content": "What is the distance from the Earth to the Moon?"}],
    guardrails=[
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"sexual": 0.1, "selfharm": 0.1},
                "ignore_other_categories": False,
                "action": "block",
            },
        }
    ],
)
print(response.choices[0].message.content)

Cás úsáide: Prototyping, glaonna aonuaire, tairseacha a bheachtú.

Leibhéal 2: Comhrá

Leis an API Comhráite, cuirtear guardrails ag an am tosaithe, in client.beta.conversations.start():

conversation = client.beta.conversations.start(
    model="mistral-large-latest",
    inputs="Hello, can you help me prepare for an interview?",
    guardrails=[
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {
                    "sexual": 0.2,
                    "hate_and_discrimination": 0.1,
                    "violence_and_threats": 0.3,
                    "selfharm": 0.1,
                },
                "action": "block",
            },
        }
    ],
)
for entree in conversation.outputs:
    if entree.type == "message.output":
        print(entree.content)

Seoltar teachtaireachtaí ina dhiaidh sin le client.beta.conversations.append(conversation_id=conversation.conversation_id, inputs=...). Ní ghlacann an modh seo le paraiméadar guardrails in SDK 3.7.0, agus ní shonraíonn an doiciméadúcht an bhfuil feidhm ag sainrialacha tosaithe maidir le casanna ina dhiaidh sin. Chun cosaint ráthaithe a bheith agat ar gach cas, ceangail sainrialacha le gníomhaire.

Cás úsáide: Comhrá aonuaire gan gníomhaire, nó sainrialacha gníomhaire a shárú d’iarratas sonrach.

Leibhéal 3: Gníomhaire

Éiríonn sainrialacha a chuirtear ar client.beta.agents.create() mar chuid de shainmhíniú an ghníomhaire. De réir na doiciméadúchta, gach comhrá a úsáideann an gníomhaire seo, faigheann siad oidhreacht orthu gan gá iad a athrá. Mar sin féin, is féidir le hiarratas comhrá iad a shárú trí guardrails dá chuid féin a rith.

agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="Secure Assistant",
    instructions="You are a professional customer service assistant.",
    guardrails=[
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {
                    "sexual": 0.1,
                    "hate_and_discrimination": 0.1,
                    "violence_and_threats": 0.2,
                    "criminal": 0.1,
                    "selfharm": 0.1,
                    "jailbreaking": 0.3,
                },
                "ignore_other_categories": False,
                "action": "block",
            },
        }
    ],
)

conversation = client.beta.conversations.start(agent_id=agent.id, inputs="Hello!")

Cás úsáide: Táirgeadh, nuair a ghlaonn foirne nó seirbhísí iolracha ar an gcúntóir céanna.

Cad a Fhilltear ag Sainrialacha

Nuair a théann an t-iarratas tríd, áirítear réimse guardrails i bhfreagairt an API, in éineacht le réimsí caighdeánacha: liosta le toradh amháin in aghaidh gach sainrialach. Seo an réimse sin ó shampla na doiciméadúchta:

{
  "guardrails": [
    {
      "moderation_llm_v2": {
        "action": "pass",
        "categories": {
          "sexual": { "score": 0.03, "violated": false },
          "selfharm": { "score": 0.05, "violated": false },
          "violence_and_threats": { "score": 0.0, "violated": false },
          "hate_and_discrimination": { "score": 0.0, "violated": false }
        }
      }
    }
  ]
}

Le ignore_other_categories socraithe ar True, ní fheictear ach na catagóirí atá liostaithe i do thairseacha sa toradh seo. San SDK Python, nochtann freagairt comhrá an réimse seo (conversation.guardrails). Níl aon réimse sonraithe aige i bhfreagairt chat.complete(), áfach, in SDK 3.7.0: cailleadh ann é. Más mian leat scóir a logáil — agus tá sé úsáideach a fhios ina dhiaidh sin an bhfuil do thairseacha ró scaoilte nó ró dhaingean — úsáid comhráite nó léigh an fhreagairt HTTP amh.

Nuair a sháraítear tairseach, filleann an API earráid 403 ina bhfuil mionsonraí ar an gcinneadh, catagóir ar chatagóir, sa chorp:

{
  "error": { "message": "Content blocked by guardrail", "status": 403 },
  "guardrails": {
    "results": {
      "moderation_llm_v2": {
        "model_name": "mistral-moderation-2603",
        "decisions": {
          "sexual": { "threshold": 0.1, "score": 0.3, "violated": true },
          "selfharm": { "threshold": 0.1, "score": 0.05, "violated": false }
        },
        "violated": true,
        "action": "block"
      }
    }
  }
}

Ansin ardaíonn an SDK errors.SDKError, áit a bhfuil status_code cothrom le 403 agus ina bhfuil an JSON seo i body:

import json

from mistralai.client import errors

try:
    response = client.chat.complete(
        model="mistral-large-latest",
        messages=[{"role": "user", "content": user_message}],
        guardrails=guardrails,
    )
except errors.SDKError as e:
    if e.status_code != 403:
        raise
    decisions = json.loads(e.body)["guardrails"]["results"]["moderation_llm_v2"]["decisions"]
    violated = [name for name, d in decisions.items() if d["violated"]]
    print(f"Request blocked: {violated}")

Ligeann an páilead seo duit bac a mhíniú le linn achomhairc: cén chatagóir, cén scór, cén tairseach.

Ar deireadh, tá an cás íslithe ann. Má theipeann ar an measúnú féin agus má tá block_on_error set to True, diúltaítear an t-iarratas le cód earráide 3201 agus an teachtaireacht Request blocked due to error in guardrail evaluation and block_on_error is set to True. Is mód sábháilte teipthe é seo: nuair atá amhras ort, blocáil. Le block_on_error socraithe ar False (a luach réamhshocraithe san SDK), rachadh an t-iarratas tríd gan seiceáil.

An Leibhéal Ceart a Roghnú

CritéarCríochnú ComhráComhráGníomhaire
Cá ndéantar na sainrialacha a dhearbhúI ngach glaoAg tosú (start)Ag cruthú gníomhaire
OidhreachtCeann ar bithGan doiciméadú do chasanna ina dhiaidh sinGach comhrá gníomhaire
In-sáraithe——Tá, le hiarratas comhrá
Cás úsáideTástálacha, tairseacha a bheachtúComhrá aonuaireTáirgeadh

Go praiticiúil, beartaigh do thairseacha ar iarratais Críochnú Comhrá ag baint úsáide as cásanna fíor, ansin bog an beartas chuig gníomhaire a luaithe a fhágann an cód do mheaisín: ní bheidh aon ghlaonna dearmadta ann a thuilleadh.

Príomhphointí

  • Bacann sainrialacha leideanna roimh an múnla trí earráid 403; ní sheiceálann siad aschur
  • Is liosta de réada {"block_on_error": ..., "moderation_llm_v2": {...}} an paraiméadar, ní foclóir le enabled
  • Aon chatagóir déag le hainmneacha seasta (hate_and_discrimination, violence_and_threats, …), gach ceann le tairseach ó 0 go 1; díchumasaíonn 1 iad
  • Trí leibhéal: chat.complete(), conversations.start(), agents.create(); aistríonn gníomhairí a gcuid sainrialacha chuig a gcuid comhráite go léir
  • Cinntíonn block_on_error=True iompraíocht sábháilte teipthe (earráid 3201)