Preskok na glavno vsebino
Slovenščina— Izberite jezik
Meni

Zavarovanje agentov z zaščitnimi ograjami

Lekcija 17 od 18 Posodobljeno 3. november 2026 Razvijalec
Na tej strani
  1. Varnost agentov ni izbira
  2. Parameter guardrails
  3. Navodila: vaša prva linija obrambe
  4. Načelo najmanjših privilegijev
  5. Filtriranje predaj (handoffs)
  6. Ne shranjujte tega, kar ni treba shraniti
  7. Moderiranje na vhodu
  8. Uglaševanje generiranja
  9. Pred prehodom v proizvodno okolje
  10. Ključne ugotovitve

Posodobljeno 3. novembra 2026. Oba prejšnja primera sta uporabljala guardrails={"enabled": True}, kar je neveljaven format: uradni parameter je seznam konfiguracij moderation_llm_v2 s pragom za vsako kategorijo. Besedilo tudi pojasnjuje obseg, kot ga navaja dokumentacija: zaščitne ograje moderirajo le vhodno sporočilo. Viri: Moderation & Guardrailing · Agents & Conversations · SDK mistralai 3.7.0.

Varnost agentov ni izbira

Avtonomni agent, ki uporablja orodja, dostopa do interneta in izvaja kodo, predstavlja tveganje, če njegova dejanja niso omejena. Razlika glede na preprost klic za dopolnjevanje besedila je temeljna, ne le stvar stopnje: model, ki proizvaja besedilo, lahko popravite ob pregledu, agent, ki deluje, pa je že ukrepal. Zaščitne ograje so nabor mehanizmov, ki določajo meje tega, kaj agent sme in česa ne sme storiti. Noben od njih sam po sebi ni dovolj; zaščito zagotavlja njihova večplastnost.

Parameter guardrails

Prvo raven določite ob ustvarjanju agenta.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="Secure Agent",
    description="Agent with guardrails enabled.",
    instructions="""You are a professional assistant.
- Never share personal information
- Never generate inappropriate content
- Refuse out-of-scope requests
- If in doubt, ask for clarification""",
    tools=[{"type": "web_search"}],
    guardrails=[
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {
                    "sexual": 0.1,
                    "hate_and_discrimination": 0.1,
                    "violence_and_threats": 0.2,
                    "criminal": 0.1,
                    "selfharm": 0.1,
                    "pii": 0.2,
                    "jailbreaking": 0.2,
                },
                "action": "block",
            },
        }
    ],
)

Vsaka navedena kategorija prejme prag od 0 do 1: če ga preseže, se uporabnikovo sporočilo zavrne z napako 403, preden doseže model. Parameter block_on_error zahtevo zavrne tudi, če sama evalvacija ne uspe. Po dokumentaciji vse pogovore za tega agenta podedujejo te zaščitne ograje. Moderirajo le vhod: niti rezultati spletnega iskanja niti odgovori agenta niso predmet tega preverjanja.

Isti parameter je sprejet tudi na ravni pogovora, kjer prepiše konfiguracijo agenta. To vam omogoča, da začasno zaostrite obnašanje skupnega agenta, ne da bi morali ustvariti drugo različico tega agenta za en sam primer uporabe.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Analyze this confidential document.",
    guardrails=[  # replaces the agent's guardrails for this conversation
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"pii": 0.05, "jailbreaking": 0.1},
                "action": "block",
            },
        }
    ],
)

Sistemski poziv ostaja najučinkovitejši vzvod, ker deluje pred vsako odločitvijo modela. Dobro zasnovan varnostni poziv jasno loči vlogo, obseg, prepovedi in pričakovano obliko.

instructions = """## Role
You are a legal assistant specializing in French labor law.

## Scope
- ONLY French labor law
- Refuse any out-of-scope questions (tax, real estate, criminal law, etc.)

## Strict Prohibitions
- NEVER give definitive legal advice
- NEVER draft legal documents without a disclaimer
- NEVER share information about other clients
- ALWAYS mention that a lawyer must validate

## Format
- Cite relevant legal articles
- Clearly state the limits of your response
- Always propose consulting a professional"""

Opazite, kaj počne razdelek „Scope”: ne pove le, s čim se agent ukvarja, temveč izrecno poimenuje sorodna področja, ki jih mora zavrniti. Brez tega naštevanja bi vprašanje o davkih, povezano z odpustitvijo, lahko ušlo nadzoru, ker je dovolj podobno delovnemu pravu, da bi se model vanj zapletel. Razdelek „Strict Prohibitions” sledi isti logiki: formulira prepovedi, ne priporočil. Agentu, ki mu rečete, naj bo „ previden”, se sam odloči, kako previden bo; agentu, ki mu prepovete pripravo dokumentov brez opozorila, pa uporabi pravilo.

Načelo najmanjših privilegijev

Vsako deklarirano orodje je zmogljivost, ki jo agent lahko uporabi ob napačnem času. Primerjajte ti dve konfiguraciji.

# Too many tools — large attack surface
dangerous_agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="do-it-all-agent",
    tools=[
        {"type": "web_search"},
        {"type": "code_interpreter"},
        {"type": "image_generation"},
        {"type": "document_library", "library_ids": [lib.id]}
    ]
)

# Principle of least privilege — only what is necessary
secure_agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="documentation-agent",
    tools=[{"type": "document_library", "library_ids": [lib.id]}]
)

Drugi agent ne more iti na splet, da bi pridobil informacije, ki manjkajo v vaših dokumentih, niti izvajati kode na vsebini, ki je niste pregledali. To ni omejitev, ki bi vam škodovala; to je jamstvo, da njegovi odgovori izvirajo iz vaše baze znanja in nikjer drugje. Vprašajte se za vsako orodje posebej – če ne najdete scenarija, kjer bi ga agent potreboval, ga odstranite.

Filtriranje predaj (handoffs)

V sistemu z več agenti vam način odjemalca (client mode) daje pravico veta nad vsako predajo. Bel seznam (whitelist) zadostuje, da preprečite, da bi en agent dosegel drugega po poti, ki je niste predvideli.

response = client.beta.conversations.start(
    agent_id=router.id,
    inputs=user_query,
    handoff_execution="client"
)

ALLOWED_AGENTS = {research.id, analyst.id}  # Whitelist

for entry in response.outputs:
    if entry.type == "agent.handoff":
        if entry.next_agent_id not in ALLOWED_AGENTS:
            print(f"BLOCKED: unauthorized handoff to {entry.next_agent_id}")
            continue
        # Continue with the authorized agent

Bel seznam živi v vaši kodi, ne v konfiguraciji agenta: velja tudi, če kdo doda cilj predaje usmerjevalniku, ne da bi vas obvestil.

Ne shranjujte tega, kar ni treba shraniti

Za občutljive podatke je najboljša zaščita, da ne shranite ničesar.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Confidential data: Q1 2026 financial report...",
    store=False  # Nothing persists
)

Ta nastavitev se določi za vsak pogovor posebej, kar vam omogoča, da ohranite zgodovino običajnih izmenjav, medtem ko zaupno vsebino obdelujete v efemernem načinu.

Moderiranje na vhodu

Elegantna varianta je postavitev agenta za moderiranje na začetek verige: ta pregleda zahtevo in jo specializiranemu agentu posreduje le, če je sprejemljiva.

moderator = client.beta.agents.create(
    model="mistral-large-latest",
    name="moderator",
    description="Checks that requests are appropriate.",
    instructions="""Analyze the user request:
- If appropriate: transfer to the specialist
- If inappropriate: politely reply that the request is not supported
- If ambiguous: ask for clarification"""
)

specialist = client.beta.agents.create(
    model="mistral-large-latest",
    name="specialist",
    description="Handles validated requests.",
    tools=[{"type": "web_search"}]
)

moderator = client.beta.agents.update(
    agent_id=moderator.id,
    handoffs=[specialist.id]
)

Vrednost tega vzorca je v ločitvi vlog: moderator nima orodij in počne le eno stvar, zato zlonamerna zahteva, ki jo zavrne, nikoli ne doseže agenta, ki zna ukrepati.

Uglaševanje generiranja

Parametri za dopolnjevanje prispevajo tudi k varnosti iz preprostega razloga: haluciniran odgovor je tveganje, ustvarjalnost pa je njegovo gojišče.

agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="Factual Agent",
    description="Factual and conservative agent.",
    completion_args={
        "temperature": 0.1,   # Very low creativity
        "top_p": 0.85,        # Restricted nucleus
        "max_tokens": 1024    # Short responses
    }
)

Temperatura 0,1 v kombinaciji z top_p 0,85 modelu pušča zelo malo svobode: za vprašanje, katerega odgovor je v vaših dokumentih, ga bo poiskal namesto da bi izmislil varianto. Omejitev na 1024 žetonov igra podobno vlogo, saj odgovor, ki postane predolg, sčasoma zaide iz dokumentiranega obsega in proizvede polnilo. Te nastavitve očitno niso primerne za ustvarjalnega agenta, so pa privzeta konfiguracija za vsakega agenta, od katerega se pričakuje navajanje dejstev – pravni svetovalec, tehnična podpora, strokovnjak za izdelek.

Pred prehodom v proizvodno okolje

Ti mehanizmi veljajo le, ko so večplastni, končno preverjanje pa se свaja na nekaj preverjanj. Navodila morajo izrecno določati obseg in prepovedi, agent pa mora imeti le orodja, ki so strogo potrebna za njegovo nalogo. Preverite, ali so zaščitne ograje omogočene in ali kritični delovni tokovi potekajo v načinu odjemalca, tako da se nobena predaja ne izvrši brez vaše odobritve. Zagotovite, da store=False spremlja vsak pogovor, ki vključuje občutljive podatke, in da temperatura ostane nizka povsod, kjer mora agent ostati dejanski. Nazadnje, postavite agenta za moderiranje pred verigo, da nesprejemljive zahteve nikoli ne dosežejo agentov, ki znajo ukrepati.

Ključne ugotovitve

  • Zaščitne ograje so konfigurirane na ravni agenta in/ali pogovora
  • Navodila so vaša prva linija obrambe – bodite izrecni glede prepovedi
  • Uporabite načelo najmanjših privilegijev: dajte le potrebna orodja
  • Način odjemalca vam omogoča preverjanje in blokiranje nepooblaščenih predaj
  • V proizvodnem okolju: moderiranje na vhodu, beleženje dogodkov, beli seznam agentov, store=False za občutljive podatke