Saugūs agentai su apsaugos mechanizmais
Šiame puslapyje
Atnaujinta 2026 m. lapkričio 3 d. Abu anksčiau pateikti pavyzdžiai naudojo
guardrails={"enabled": True}, kas yra neteisingas formatas: oficialus parametras yramoderation_llm_v2konfigūracijų sąrašas su slenkstine verte kiekvienai kategorijai. Tekste taip pat patikslinama, ką dokumentacija nurodo apie jų taikymo sritį: jie moderuoja tik gaunamą žinutę. Šaltiniai: Moderavimas ir apsauga · Agentai ir pokalbiai · SDKmistralai3.7.0.
Agentų saugumas nėra pasirenkamas
Autonomiškas agentas, naudojantis įrankius, prieinantis prie interneto ir vykdantis kodą, kelia riziką, jei jo veiksmai nėra apriboti. Skirtumas nuo paprasto užbaigimo (completion) užklausos yra esminis, o ne tik laipsnio klausimas: modelį, kuris kuria tekstą, galima ištaisyti peržiūros metu, tačiau agentas, kuris jau atliko veiksmą, yra tą veiksmą įvykdęs. Apsaugos mechanizmai („guardrails“) yra priemonių rinkinys, apibrėžiantis agento veiklos ribas – ką jis gali ir ko negali daryti. Nė vienas iš jų nėra pakankamas atskirai; tik jų sluoksniavimas užtikrina apsaugą.
Parametras guardrails
Pirmasis lygmuo nustatomas kuriant agentą.
from mistralai.client import Mistral
import os
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Secure Agent",
description="Agent with guardrails enabled.",
instructions="""You are a professional assistant.
- Never share personal information
- Never generate inappropriate content
- Refuse out-of-scope requests
- If in doubt, ask for clarification""",
tools=[{"type": "web_search"}],
guardrails=[
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {
"sexual": 0.1,
"hate_and_discrimination": 0.1,
"violence_and_threats": 0.2,
"criminal": 0.1,
"selfharm": 0.1,
"pii": 0.2,
"jailbreaking": 0.2,
},
"action": "block",
},
}
],
)
Kiekviena išvardyta kategorija gauna slenkstinę vertę nuo 0 iki 1: viršijus šią ribą, naudotojo žinutė atmetama su klaida 403 dar prieš pasiekiant modelį, o block_on_error atmeta užklausą ir tuo atveju, jei pats vertinimas nepavyksta. Pagal dokumentaciją, visi agento pokalbiai paveldi šiuos apsaugos mechanizmus. Jie moderuoja tik įvestį: nei interneto paieškos rezultatai, nei paties agento atsakymas nėra jais tikrinami.
Tas pats parametras priimamas pokalbio lygmenyje, kur jis perrašo agento konfigūraciją. Tai leidžia laikinai sugriežtinti bendro naudojimo agento elgseną konkrečiam atvejui, nereikalaujant kurti antrosios to agento versijos.
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="Analyze this confidential document.",
guardrails=[ # replaces the agent's guardrails for this conversation
{
"block_on_error": True,
"moderation_llm_v2": {
"custom_category_thresholds": {"pii": 0.05, "jailbreaking": 0.1},
"action": "block",
},
}
],
)
Instrukcijos: tavo pirmoji gynybos linija
Sistemos promptas išlieka efektyviausia priemone, nes jis veikia prieš priimant bet kokį modelio sprendimą. Gerai sukonstruotas saugumo promptas aiškiai atskiria vaidmenį, taikymo sritį, draudimus ir numatomą formatą.
instructions = """## Role
You are a legal assistant specializing in French labor law.
## Scope
- ONLY French labor law
- Refuse any out-of-scope questions (tax, real estate, criminal law, etc.)
## Strict Prohibitions
- NEVER give definitive legal advice
- NEVER draft legal documents without a disclaimer
- NEVER share information about other clients
- ALWAYS mention that a lawyer must validate
## Format
- Cite relevant legal articles
- Clearly state the limits of your response
- Always propose consulting a professional"""
Atkreipk dėmesį, ką daro skiltis „Scope“ (Taikymo sritis): ji ne tik nurodo, ką agentas tvarko, bet ir aiškiai įvardija gretimas sritis, kurias jis turi atmesti. Be šio išvardijimo, klausimas apie mokesčius, susijęs su atleidimu iš darbo, gali praslysti, nes jis pakankamai panašus į darbo teisę, kad modelis įsitrauktų. Skiltis „Strict Prohibitions“ (Griežti draudimai) laikosi tos pačios logikos: ji formuluoja atsisakymus, o ne rekomendacijas. Agentui, kuriam liepiama būti „atsargiam“, tenka pačiam kalibruoti savo atsargumą; agentui, kuriam uždrausta rengti dokumentus be atsakomybės ribojimo, taikoma taisyklė.
Mažiausių privilegijų principas
Kiekvienas deklaruotas įrankis yra gebėjimas, kurį agentas gali panaudoti netinkamu metu. Palygink šias dvi konfigūracijas.
# Too many tools — large attack surface
dangerous_agent = client.beta.agents.create(
model="mistral-large-latest",
name="do-it-all-agent",
tools=[
{"type": "web_search"},
{"type": "code_interpreter"},
{"type": "image_generation"},
{"type": "document_library", "library_ids": [lib.id]}
]
)
# Principle of least privilege — only what is necessary
secure_agent = client.beta.agents.create(
model="mistral-large-latest",
name="documentation-agent",
tools=[{"type": "document_library", "library_ids": [lib.id]}]
)
Antrasis agentas negali prisijungti prie interneto ieškoti informacijos, kurios trūksta tavo dokumentuose, nei vykdyti kodo turiniui, kurio neperžiūrėjai. Tai nėra tau taikomas apribojimas; tai garantija, kad jo atsakymai kyla iš tavo žinių bazės ir niekur kitur. Klausk savęs apie kiekvieną įrankį atskirai – jei negali rasti scenarijaus, kuriame agentui jo reikia, pašalink jį.
Filtruok perdavimus („handoffs“)
Daugiaagentėje sistemoje kliento režimas („client mode“) suteikia tau veto teisę kiekvienam perdavimui. Pakanka baltųjų sąrašų („whitelist“), kad išvengtum vieno agento pasiekimo kitu tau nenumatytu keliu.
response = client.beta.conversations.start(
agent_id=router.id,
inputs=user_query,
handoff_execution="client"
)
ALLOWED_AGENTS = {research.id, analyst.id} # Whitelist
for entry in response.outputs:
if entry.type == "agent.handoff":
if entry.next_agent_id not in ALLOWED_AGENTS:
print(f"BLOCKED: unauthorized handoff to {entry.next_agent_id}")
continue
# Continue with the authorized agent
Baltasis sąrašas gyvena tavo kode, o ne agento konfigūracijoje: jis lieka galioti net jei kas nors pridės perdavimo tikslą maršrutizatoriui apie tai tavęs neinformavęs.
Nesaugok to, ką nereikia saugoti
Jautriems duomenims geriausia apsauga yra nieko nesaugoti.
response = client.beta.conversations.start(
agent_id=agent.id,
inputs="Confidential data: Q1 2026 financial report...",
store=False # Nothing persists
)
Šis nustatymas priimamas kiekvienam pokalbiui atskirai, todėl gali išsaugoti įprastų mainų istoriją, tuo pačiu metu konfidencialų turinį apdorodamas efemeriniu režimu.
Moderuok ankstyvoje stadijoje
Elegantiškas variantas – grandinės pradžioje patalpinti moderavimo agentą: jis išnagrinėja užklausą ir perduoda ją specialistui tik tuo atveju, jei ji yra priimtina.
moderator = client.beta.agents.create(
model="mistral-large-latest",
name="moderator",
description="Checks that requests are appropriate.",
instructions="""Analyze the user request:
- If appropriate: transfer to the specialist
- If inappropriate: politely reply that the request is not supported
- If ambiguous: ask for clarification"""
)
specialist = client.beta.agents.create(
model="mistral-large-latest",
name="specialist",
description="Handles validated requests.",
tools=[{"type": "web_search"}]
)
moderator = client.beta.agents.update(
agent_id=moderator.id,
handoffs=[specialist.id]
)
Šio šablono vertė slypi vaidmenų atskyreme: moderatorius neturi įrankių ir daro tik vieną dalyką, todėl piktybinė užklausa, kurią jis atmeta, niekada nepasiekia agento, mokančio veikti.
Derink generavimą
Užbaigimo parametrai taip pat prisideda prie saugumo dėl paprastos priežasties: haliucinuojantis atsakymas yra rizika, o kūrybiškumas yra jo veisimosi terpė.
agent = client.beta.agents.create(
model="mistral-large-latest",
name="Factual Agent",
description="Factual and conservative agent.",
completion_args={
"temperature": 0.1, # Very low creativity
"top_p": 0.85, # Restricted nucleus
"max_tokens": 1024 # Short responses
}
)
0,1 temperatūra kartu su 0,85 top_p reikšme palieka modeliui labai mažai laisvės: klausimui, kurio atsakymas yra tavo dokumentuose, jis jį suras, o ne kurs variantus. 1024 tokenų riba atlieka panašų vaidmenį, nes per ilgas atsakymas galiausiai nukrypsta nuo dokumentuotos srities ir pradeda generuoti „vandens“. Šie nustatymai akivaizdžiai netinka kūrybiniam agentui, tačiau jie yra numatytoji konfigūracija bet kuriam agentui, nuo kurio tikimasi faktų teigimo – teisiniam asistentui, techninei pagalbai, produkto ekspertui.
Prieš pereinant į gamybinę aplinką
Šie mechanizmai galioja tik sluoksniuojami, o galutinis patikrinimas susiveda į keletą patikrų. Instrukcijose turi būti aiškiai apibrėžta taikymo sritis ir draudimai, o agentas turi turėti tik tuos įrankius, kurie yra griežtai būtini jo užduočiai. Patikrink, ar įjungti apsaugos mechanizmai („guardrails“) ir ar kritiniai darbo eigos procesai vykdomi kliento režimu, kad joks perdavimas nebūtų įvykdytas be tavo patvirtinimo. Užtikrink, kad store=False lydėtų bet kurį pokalbį, susijusį su jautriais duomenimis, ir kad temperatūra išliktų žema ten, kur tikimasi, jog agentas liks faktinis. Galiausiai, grandinės pradžioje pastatyk moderavimo agentą, kad nepriimtinos užklausos niekada nepasiektų agentų, mokančių veikti.
Svarbiausi punktai
- Apsaugos mechanizmai konfigūruojami agento ir (arba) pokalbio lygmenyje
- Instrukcijos yra tavo pirmoji gynybos linija – būk aiškus dėl draudimų
- Taikyk mažiausių privilegijų principą: suteik tik būtinus įrankius
- Kliento režimas leidžia patvirtinti ir blokuoti neautorizuotus perdavimus
- Gamyboje: ankstyvas moderavimas, registravimas, agentų baltasis sąrašas,
store=Falsejautriems duomenims