Turvalised agendid kaitsepiirangutega
Sellel lehel
Uuendatud 3. novembril 2026. Mõlemas eelmises näites kasutati parameetrit
guardrails={"enabled": True}, mida tegelikkuses ei eksisteeri: ametlik parameeter on loendmoderation_llm_v2konfiguratsioonidest, millel on iga kategooria jaoks lävend. Tekst selgitab ka dokumentatsiooni väidet nende ulatuse kohta: need moduleerivad ainult sisenevat sõnumit. Allikad: Moderation & Guardrailing · Agents & Conversations · SDKmistralai3.7.0.
Agendi turvalisus ei ole valikuline
Autonoomne agent, mis kasutab tööriistu, pääseb internetti ja käivitab koodi, kujutab endast ohtu, kui selle tegevust ei piirata. Erinevus lihtsa teksti genereerimise kutsest on fundamentaalne, mitte ainult astmeline: mudeli loodud teksti saab ülevaatamisel parandada, kuid tegutsev agent on juba tegutsenud. Kaitsepiirangud (guardrails) on mehhanismide kogum, mis määratleb agendi lubatud ja keelatud tegevuse piirid. Ükski neist ei ole iseseisvalt piisav; kaitse tagab just nende kihtimine.
Parameeter guardrails
Esimene tase määratletakse agendi loomisel.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Secure Agent",
description="Agent with guardrails enabled.",
instructions="""You are a professional assistant.
- Never share personal information
- Never generate inappropriate content
- Refuse out-of-scope requests
- If in doubt, ask for clarification""",
tools=[{"type": "web_search"}],
guardrails=[
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.2,
"criminal": 0.1,
"selfharm": 0.1,
"pii": 0.2,
"jailbreaking": 0.2,
},
"action": "block",
},
}
],
)
Iga loetletud kategooria saab lävendi vahemikus 0 kuni 1: kui see ületatakse, lükatakse kasutaja sõnum tagasi veakoodiga 403 enne, kui see mudelini jõuab. Parameeter block_on_error lükkab päringu tagasi ka siis, kui hindamine ise ebaõnnestub. Dokumentatsiooni kohaselt pärandavad agendi kõik vestlused need kaitsepiirangud. Need moduleerivad ainult sisendit: neither veebiotsingu tulemusi ega agendi vastust need ei kontrolli.
Sama parameetrit aktsepteeritakse vestluse tasandil, kus see kirjutab üle agendi konfiguratsiooni. See võimaldab ajutiselt kitsendada jagatud agendi käitumist, loomata ühe kasutusjuhu jaoks agendi teist versiooni.
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="Analyze this confidential document.",
guardrails=[ # replaces the agent's guardrails for this conversation
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"pii": 0.05, "jailbreaking": 0.1},
"action": "block",
},
}
],
)
Juhised: sinu esimene kaitseliin
Süsteemi prompt on endiselt kõige tõhusam hoob, kuna see toimib enne mudeli igasugust otsust. Hästi üles ehitatud turvaprompt eristab selgelt rolli, ulatust, keelde ja oodatavat formaati.
instructions = """## Role
You are a legal assistant specializing in French labor law.
## Scope
- ONLY French labor law
- Refuse any out-of-scope questions (tax, real estate, criminal law, etc.)
## Strict Prohibitions
- NEVER give definitive legal advice
- NEVER draft legal documents without a disclaimer
- NEVER share information about other clients
- ALWAYS mention that a lawyer must validate
## Format
- Cite relevant legal articles
- Clearly state the limits of your response
- Always propose consulting a professional"""
Pane tähele, mida teeb jaotis „Scope“: see ei ütle mitte ainult seda, millega agent tegeleb, vaid nimetab sõnaselgelt ka külgnevaid valdkondi, millest ta peab keelduma. Ilma selle loeteluta võib maksuküsimus, mis puudutab vallandamist, läbi libiseda, kuna see sarnaneb tööõigusega piisavalt, et mudel sellega tegeleks. Jaotis „Strict Prohibitions“ järgib sama loogikat: see formuleerib keelde, mitte soovitusi. Agenti, kellele öeldakse, et ta oleks „ettevaatlik“, kalibreerib oma ettevaatlikkust ise; agenti, kellel on keelatud dokumente koostada ilma hoiatuseta, rakendab reeglit.
Minimaalsete õiguste printsiip
Iga deklareeritud tööriist on võimekus, mida agent võib valel ajal mobiliseerida. Võrdle neid kahte konfiguratsiooni.
# Too many tools — large attack surface
dangerous_agent = client.beta.agents.create(
model="mistral-large-latest",
name="do-it-all-agent",
tools=[
{"type": "web_search"},
{"type": "code_interpreter"},
{"type": "image_generation"},
{"type": "document_library", "library_ids": [lib.id]}
]
)
# Principle of least privilege — only what is necessary
secure_agent = client.beta.agents.create(
model="mistral-large-latest",
name="documentation-agent",
tools=[{"type": "document_library", "library_ids": [lib.id]}]
)
Teine agent ei saa minna internetti, et hankida teavet, mida sinu dokumentidest puudu on, ega käivitada koodi sisu põhjal, mida sa pole üle vaadanud. See ei ole piirang, mida sa talud; see on garantii, et selle vastused pärinevad sinu teadmiste baasist ja mitte kusagilt mujalt. Küsi endalt iga tööriista kohta – kui sa ei leia stsenaariumi, kus agent seda vajaks, eemalda see.
Filtreeri üleandmisi (handoffs)
Mitme agendiga süsteemis annab kliendirežiim sulle vetoõiguse iga üleandmise suhtes. Valgest nimekirjast (whitelist) piisab, et takistada ühel agendil jõuda teiseni tee kaudu, mida sa ei ennustanud.
response = client.beta.conversations.start(
agent_id=router.id,
inputs=user_query,
handoff_execution="client"
)
ALLOWED_AGENTS = {research.id, analyst.id} # Whitelist
for entry in response.outputs:
if entry.type == "agent.handoff":
if entry.next_agent_id not in ALLOWED_AGENTS:
print(f"BLOCKED: unauthorized handoff to {entry.next_agent_id}")
continue
# Continue with the authorized agent
Valge nimekiri asub sinu koodis, mitte agendi konfiguratsioonis: see jääb kehtivaks isegi siis, kui keegi lisab ruuterile üleandmise sihtkoha sinuga nõu pidamata.
Ära salvesta seda, mida pole vaja salvestada
Tundlike andmete puhul on parim kaitse mitte midagi salvestada.
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="Confidential data: Q1 2026 financial report...",
store=False # Nothing persists
)
See säte otsustatakse vestluse põhiselt, mis võimaldab säilitada tavaliste vahetuste ajalugu, töödeldes samal ajal konfidentsiaalset sisu efemeerses režiimis.
Moduleeri sisendis
Elegantne variant on paigutada ahela ette moduleeriv agent: see uurib päringut ja edastab selle spetsialistile ainult siis, kui see on vastuvõetav.
moderator = client.beta.agents.create(
model="mistral-large-latest",
name="moderator",
description="Checks that requests are appropriate.",
instructions="""Analyze the user request:
- If appropriate: transfer to the specialist
- If inappropriate: politely reply that the request is not supported
- If ambiguous: ask for clarification"""
)
specialist = client.beta.agents.create(
model="mistral-large-latest",
name="specialist",
description="Handles validated requests.",
tools=[{"type": "web_search"}]
)
moderator = client.beta.agents.update(
agent_id=moderator.id,
handoffs=[specialist.id]
)
Selle mustri väärtus seisneb rollide eraldamises: moduleerijal pole tööriistu ja ta teeb ainult ühte asja, nii et pahatahtlik päring, mille ta tagasi lükkab, ei jõua kunagi agendini, kes oskab tegutseda.
Häälesta genereerimine
Lõpetamise parameetrid (completion parameters) aitavad samuti kaasa turvalisusele lihtsal põhjusel: hallutsineeriv vastus on risk ja loovus on selle kasvulava.
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Factual Agent",
description="Factual and conservative agent.",
completion_args={
"temperature": 0.1, # Very low creativity
"top_p": 0.85, # Restricted nucleus
"max_tokens": 1024 # Short responses
}
)
Temperatuur 0,1 koos top_p väärtusega 0,85 jätab mudelile väga vähe mänguruumi: küsimuse puhul, mille vastus leidub sinu dokumentides, toob mudel selle välja, selle asemel et variante välja mõelda. 1024 tokeni piirang mängib sarnast rolli, sest liiga pikaks kasvav vastus kaldub lõpuks dokumenteeritud ulatusest kõrvale ja toodab täiteainet. Need seaded ei sobi ilmselgelt loova agendi jaoks, kuid need on vaikimisi konfiguratsioon iga agendi jaoks, millelt oodatakse faktide esitamist – õigusnõustaja, tehniline tugi, tooteekspert.
Enne tootmisse viimist
Need mehhanismid kehtivad ainult kihtidena ja lõplik kontroll taandub mõnele kontrollile. Juhised peavad sõnaselgelt määratlema ulatuse ja keelud ning agendil peavad olema ainult selle ülesande jaoks rangelt vajalikud tööriistad. Veendu, et kaitsepiirangud on lubatud ja et kriitilised töövoogud töötavad kliendirežiimis, nii et ükski üleandmine ei toimu ilma sinu heakskiiduta. Veendu, et store=False kaasneb iga tundlikke andmeid sisaldava vestlusega ja et temperatuur jääb madalaks seal, kus agendilt oodatakse faktilisust. Lõpuks paiguta ahela ette moduleeriv agent, et vastuvõetamatud päringud ei jõuaks kunagi agenditeni, kes oskavad tegutseda.
Peamised punktid
- Kaitsepiirangud konfigureeritakse agendi ja/või vestluse tasandil
- Juhised on sinu esimene kaitseliin – ole keeldude osas sõnaselge
- Rakenda minimaalsete õiguste printsiipi: anna ainult vajalikud tööriistad
- Kliendirežiim võimaldab valideerida ja blokeerida loata üleandmisi
- Tootmises: sisendmoduleerimine, logimine, agendi valge nimekiri,
store=Falsetundlike andmete jaoks