Přejít na hlavní obsah
Čeština— Vyberte jazyk
Menu

Zabezpečení agentů pomocí ochranných mechanismů

Lekce 17 z 18 Aktualizováno 3. listopadu 2026 Vývojář
Na této stránce
  1. Bezpečnost agentů není volitelná
  2. Parametr guardrails
  3. Instrukce: tvá první linie obrany
  4. Princip nejmenších oprávnění
  5. Filtruj předávání (handoffs)
  6. Neukládej to, co není třeba ukládat
  7. Moderuj na vstupu
  8. Ladění generování
  9. Než přejdeš do produkce
  10. Klíčové poznatky

Aktualizováno 3. listopadu 2026. Obě předchozí ukázky používaly formát guardrails={"enabled": True}, který neexistuje: oficiálním parametrem je seznam konfigurací moderation_llm_v2 s prahovou hodnotou pro každou kategorii. Text také upřesňuje, co uvádí dokumentace ohledně jejich rozsahu: moderují pouze příchozí zprávu. Zdroje: Moderation & Guardrailing · Agents & Conversations · SDK mistralai 3.7.0.

Bezpečnost agentů není volitelná

Autonomní agent, který používá nástroje, přistupuje na internet a spouští kód, představuje riziko, pokud nejsou jeho akce omezeny. Rozdíl oproti prostému volání dokončování (completion) je zásadní, nejen otázka míry: model, který produkuje text, lze po kontrole opravit, ale agent, který jedná, již jednal. Ochranné mechanismy (guardrails) jsou soubor nástrojů, které definují hranice toho, co agent smí a nesmí dělat. Žádný z nich sám o sobě nestačí; ochranu poskytuje až jejich vrstvení.

Parametr guardrails

První úroveň se deklaruje při vytváření agenta.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="Secure Agent",
    description="Agent with guardrails enabled.",
    instructions="""You are a professional assistant.
- Never share personal information
- Never generate inappropriate content
- Refuse out-of-scope requests
- If in doubt, ask for clarification""",
    tools=[{"type": "web_search"}],
    guardrails=[
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {
                    "sexual": 0.1,
                    "hate_and_discrimination": 0.1,
                    "violence_and_threats": 0.2,
                    "criminal": 0.1,
                    "selfharm": 0.1,
                    "pii": 0.2,
                    "jailbreaking": 0.2,
                },
                "action": "block",
            },
        }
    ],
)

Každá uvedená kategorie obdrží prahovou hodnotu od 0 do 1: po jejím překročení je uživatelova zpráva zamítnuta s chybou 403 ještě předtím, než se dostane k modelu, a parametr block_on_error žádost zamítne také v případě, že selže samotné vyhodnocení. Podle dokumentace zdědí všechny konverzace pro tohoto agenta tyto ochranné mechanismy. Moderují pouze vstup: výsledky vyhledávání na webu ani odpověď agenta jimi nejsou kontrolovány.

Stejný parametr je přijímán na úrovni konverzace, kde přepíše konfiguraci agenta. To ti umožňuje dočasně zpřísnit chování sdíleného agenta, aniž bys musel vytvářet jeho druhou verzi pro jediný případ použití.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Analyze this confidential document.",
    guardrails=[  # replaces the agent's guardrails for this conversation
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"pii": 0.05, "jailbreaking": 0.1},
                "action": "block",
            },
        }
    ],
)

Instrukce: tvá první linie obrany

Systémový prompt zůstává nejefektivnější pákou, protože působí před jakýmkoli rozhodnutím modelu. Dobře sestavený bezpečnostní prompt jasně odděluje roli, rozsah, zákazy a očekávaný formát.

instructions = """## Role
You are a legal assistant specializing in French labor law.

## Scope
- ONLY French labor law
- Refuse any out-of-scope questions (tax, real estate, criminal law, etc.)

## Strict Prohibitions
- NEVER give definitive legal advice
- NEVER draft legal documents without a disclaimer
- NEVER share information about other clients
- ALWAYS mention that a lawyer must validate

## Format
- Cite relevant legal articles
- Clearly state the limits of your response
- Always propose consulting a professional"""

Všimni si, co dělá sekce „Scope“ (Rozsah): nejen říká, čím se agent zabývá, ale explicitně vyjmenovává sousední domény, které musí odmítnout. Bez tohoto výčtu by mohla proklouznout daňová otázka týkající se propuštění, protože se pracovnímu právu dostatečně podobá na to, aby se model zapojil. Sekce „Strict Prohibitions“ (Přísné zákazy) následuje stejnou logiku: formuluje zákazy, nikoli doporučení. Agentovi, kterému se řekne, aby byl „opatrný“, si svou opatrnost kalibruje sám; agentovi, kterému je zakázáno vytvářet návrhy bez upozornění, aplikuje pravidlo.

Princip nejmenších oprávnění

Každý deklarovaný nástroj je schopnost, kterou může agent mobilizovat ve špatnou chvíli. Porovnej tyto dvě konfigurace.

# Too many tools — large attack surface
dangerous_agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="do-it-all-agent",
    tools=[
        {"type": "web_search"},
        {"type": "code_interpreter"},
        {"type": "image_generation"},
        {"type": "document_library", "library_ids": [lib.id]}
    ]
)

# Principle of least privilege — only what is necessary
secure_agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="documentation-agent",
    tools=[{"type": "document_library", "library_ids": [lib.id]}]
)

Druhý agent nemůže jít online a získávat informace chybějící v tvých dokumentech, ani spouštět kód na obsahu, který jsi nerevidoval. Není to omezení, které trpíš; je to záruka, že jeho odpovědi pocházejí z tvé znalostní báze a nikde jinde. Ptej se u každého nástroje zvlášť – pokud nenajdeš scénář, kde by ho agent potřeboval, odstraň ho.

Filtruj předávání (handoffs)

V systému s více agenty ti klientský režim (client mode) dává právo veta nad každým předáním. Whitelist stačí k tomu, aby jeden agent nedosáhl na druhého cestou, kterou jsi neočekával.

response = client.beta.conversations.start(
    agent_id=router.id,
    inputs=user_query,
    handoff_execution="client"
)

ALLOWED_AGENTS = {research.id, analyst.id}  # Whitelist

for entry in response.outputs:
    if entry.type == "agent.handoff":
        if entry.next_agent_id not in ALLOWED_AGENTS:
            print(f"BLOCKED: unauthorized handoff to {entry.next_agent_id}")
            continue
        # Continue with the authorized agent

Whitelist žije v tvém kódu, ne v konfiguraci agenta: zůstává platná, i když někdo přidá cíl předání do routeru, aniž by tě informoval.

Neukládej to, co není třeba ukládat

U citlivých dat je nejlepší ochranou neukládat nic.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Confidential data: Q1 2026 financial report...",
    store=False  # Nothing persists
)

Toto nastavení se rozhoduje pro každou konverzaci zvlášť, což ti umožňuje uchovávat historii běžných výměn, zatímco zpracováváš důvěrný obsah v efemérním režimu.

Moderuj na vstupu

Elegantní variantou je umístit moderujícího agenta na začátek řetězce: ten žádost prověří a převede ji na specialistu pouze tehdy, je-li přijatelná.

moderator = client.beta.agents.create(
    model="mistral-large-latest",
    name="moderator",
    description="Checks that requests are appropriate.",
    instructions="""Analyze the user request:
- If appropriate: transfer to the specialist
- If inappropriate: politely reply that the request is not supported
- If ambiguous: ask for clarification"""
)

specialist = client.beta.agents.create(
    model="mistral-large-latest",
    name="specialist",
    description="Handles validated requests.",
    tools=[{"type": "web_search"}]
)

moderator = client.beta.agents.update(
    agent_id=moderator.id,
    handoffs=[specialist.id]
)

Hodnota tohoto vzoru spočívá v oddělení rolí: moderátor nemá žádné nástroje a dělá pouze jednu věc, takže škodlivá žádost, kterou odmítne, se nikdy nedostane k agentovi, který umí jednat.

Ladění generování

Parametry dokončování (completion) také přispívají k bezpečnosti z prostého důvodu: halucinující odpověď je riziko a kreativita je její živnou půdou.

agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="Factual Agent",
    description="Factual and conservative agent.",
    completion_args={
        "temperature": 0.1,   # Very low creativity
        "top_p": 0.85,        # Restricted nucleus
        "max_tokens": 1024    # Short responses
    }
)

Teplota 0,1 v kombinaci s top_p 0,85 ponechává modelu velmi malý prostor: u otázky, jejíž odpověď se nachází v tvých dokumentech, ji retrieved místo toho, aby vymýšlel variantu. Omezení na 1024 tokenů hraje podobnou roli, protože odpověď, která příliš naroste, se nakonec vzdálí zdokumentovanému rozsahu a začne produkovat výplňový text. Tato nastavení samozřejmě nejsou vhodná pro kreativního agenta, ale jsou výchozí konfigurací pro jakéhokoli agenta, od kterého se očekává uvádění faktů – právní asistent, technická podpora, produktový expert.

Než přejdeš do produkce

Tyto mechanismy jsou platné pouze při vrstvení a finální kontrola se redukuje na několik ověření. Instrukce musí explicitně definovat rozsah a zákazy a agent musí mít pouze nástroje nezbytně nutné pro jeho úkol. Ověř, zda jsou povoleny ochranné mechanismy (guardrails) a zda kritické pracovní postupy běží v klientském režimu, aby se žádné předání nevykonalo bez tvého schválení. Zajisti, aby store=False doprovázelo jakoukoli konverzaci zahrnující citlivá data, a že teplota zůstává nízká všude tam, kde se od agenta očekává faktičnost. Nakonec umísti před řetězec moderujícího agenta, aby se nepřijatelné žádosti nikdy nedostaly k agentům, kteří umí jednat.

Klíčové poznatky

  • Ochranné mechanismy (guardrails) se konfigurují na úrovni agenta a/nebo konverzace
  • Instrukce jsou tvou první linií obrany – buď explicitní v zákazech
  • Aplikuj princip nejmenších oprávnění: poskytuj pouze nezbytné nástroje
  • Klientský režim ti umožňuje validovat a blokovat neoprávněná předání
  • V produkci: moderování na vstupu, logování, whitelist agentů, store=False pro citlivá data