Премини към основното съдържание
Български— Изберете език
Меню

Сигурни агенти с предпазни механизми

Урок 17 от 18 Обновен 3 ноември 2026 г. Програмист
На тази страница
  1. Сигурността на агентите не е по избор
  2. Параметърът guardrails
  3. Инструкции: Вашата първа линия на защита
  4. Принципът на най-малките привилегии
  5. Филтриране на предаванията (Handoffs)
  6. Не съхранявайте това, което не трябва да се съхранява
  7. Модериране в началото на веригата
  8. Настройване на генерирането
  9. Преди преминаване към продукция
  10. Ключови изводи

Обновено на 3 ноември 2026 г. И двата предишни примера използваха guardrails={"enabled": True}, формат, който не съществува: официалният параметър е списък от конфигурации moderation_llm_v2 с праг за всяка категория. Текстът също така изяснява какво посочва документацията относно обхвата им: те модерират само входящото съобщение. Източници: Moderation & Guardrailing · Agents & Conversations · SDK mistralai 3.7.0.

Сигурността на агентите не е по избор

Автономният агент, който използва инструменти, има достъп до интернет и изпълнява код, представлява риск, ако действията му не са ограничени. Разликата спрямо обикновено извикване за генериране на текст е фундаментална, а не просто въпрос на степен: модел, който произвежда текст, може да бъде коригиран при преглед, но агент, който действа, вече е извършил действието. Предпазните механизми (guardrails) са наборът от механизми, които дефинират границите на това какво агентът може и не може да прави. Никой от тях не е достатъчен сам по себе си; тяхното наслагване осигурява защитата.

Параметърът guardrails

Първото ниво се декларира при създаването на агента.

from mistralai.client import Mistral
import os

client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])

agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="Secure Agent",
    description="Agent with guardrails enabled.",
    instructions="""You are a professional assistant.
- Never share personal information
- Never generate inappropriate content
- Refuse out-of-scope requests
- If in doubt, ask for clarification""",
    tools=[{"type": "web_search"}],
    guardrails=[
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {
                    "sexual": 0.1,
                    "hate_and_discrimination": 0.1,
                    "violence_and_threats": 0.2,
                    "criminal": 0.1,
                    "selfharm": 0.1,
                    "pii": 0.2,
                    "jailbreaking": 0.2,
                },
                "action": "block",
            },
        }
    ],
)

Всяка изброена категория получава праг от 0 до 1: след тази точка съобщението на потребителя се отхвърля с грешка 403, преди да достигне до модела, а block_on_error също отхвърля заявката, ако самото оценяване се провали. Според документацията всички разговори за агента наследяват тези предпазни механизми. Те модерират само входа: нито резултатите от уеб търсенето, нито отговорът на агента се проверяват от тях.

Същият параметър се приема и на ниво разговор, където той замества конфигурацията на агента. Това Ви позволява временно да затегнете поведението на споделен агент, без да създавате втора версия на този агент за един единствен случай на употреба.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Analyze this confidential document.",
    guardrails=[  # replaces the agent's guardrails for this conversation
        {
            "block_on_error": True,
            "moderation_llm_v2": {
                "custom_category_thresholds": {"pii": 0.05, "jailbreaking": 0.1},
                "action": "block",
            },
        }
    ],
)

Инструкции: Вашата първа линия на защита

Системният подканващ текст (system prompt) остава най-ефективният лост, защото действа преди всяко решение на модела. Едно добре конструирано подсказване за сигурност ясно разграничава ролята, обхвата, забраните и очаквания формат.

instructions = """## Role
You are a legal assistant specializing in French labor law.

## Scope
- ONLY French labor law
- Refuse any out-of-scope questions (tax, real estate, criminal law, etc.)

## Strict Prohibitions
- NEVER give definitive legal advice
- NEVER draft legal documents without a disclaimer
- NEVER share information about other clients
- ALWAYS mention that a lawyer must validate

## Format
- Cite relevant legal articles
- Clearly state the limits of your response
- Always propose consulting a professional"""

Забележете какво прави секцията “Scope”: тя не просто казва с какво се занимава агентът, а изрично назовава съседните области, които трябва да откаже. Без това изброяване въпрос за данъците, свързан с уволнение, може да се промъкне, защото прилича достатъчно на трудово право, за да ангажира модела. Секцията “Strict Prohibitions” следва същата логика: тя формулира откази, а не препоръки. На агент, на когото е казано да бъде “предпазлив”, се калибрира собствената предпазливост; на агент, на когото е забранено да изготвя документи без отказ от отговорност, се прилага правило.

Принципът на най-малките привилегии

Всеки деклариран инструмент е възможност, която агентът може да мобилизира в грешния момент. Сравнете тези две конфигурации.

# Too many tools — large attack surface
dangerous_agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="do-it-all-agent",
    tools=[
        {"type": "web_search"},
        {"type": "code_interpreter"},
        {"type": "image_generation"},
        {"type": "document_library", "library_ids": [lib.id]}
    ]
)

# Principle of least privilege — only what is necessary
secure_agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="documentation-agent",
    tools=[{"type": "document_library", "library_ids": [lib.id]}]
)

Вторият агент не може да излиза онлайн, за да търси информация, липсваща във Вашите документи, нито да изпълнява код върху съдържание, което не сте прегледали. Това не е ограничение, от което страдате; това е гаранцията, че отговорите му идват от Вашата база знания и от никъде другаде. Запитайте се за всеки инструмент поотделно – ако не можете да намерите сценарий, в който агентът да се нуждае от него, премахнете го.

Филтриране на предаванията (Handoffs)

В система с множество агенти клиентският режим Ви дава право на вето върху всяко предаване. Достатъчен е бял списък, за да се предотврати достигането на един агент до друг чрез път, който не сте предвидили.

response = client.beta.conversations.start(
    agent_id=router.id,
    inputs=user_query,
    handoff_execution="client"
)

ALLOWED_AGENTS = {research.id, analyst.id}  # Whitelist

for entry in response.outputs:
    if entry.type == "agent.handoff":
        if entry.next_agent_id not in ALLOWED_AGENTS:
            print(f"BLOCKED: unauthorized handoff to {entry.next_agent_id}")
            continue
        # Continue with the authorized agent

Белият списък съществува във Вашия код, а не в конфигурацията на агента: той остава валиден, дори ако някой добави цел за предаване към рутера, без да Ви уведоми.

Не съхранявайте това, което не трябва да се съхранява

За чувствителни данни най-добрата защита е да не се съхранява нищо.

response = client.beta.conversations.start(
    agent_id=agent.id,
    inputs="Confidential data: Q1 2026 financial report...",
    store=False  # Nothing persists
)

Тази настройка се решава за всеки разговор поотделно, което Ви позволява да запазите историята на обикновените размени, докато обработвате поверително съдържание в ефемерен режим.

Модериране в началото на веригата

Елегантен вариант е да се постави агент за модериране в началото на веригата: той разглежда заявката и я прехвърля към специалиста само ако е приемлива.

moderator = client.beta.agents.create(
    model="mistral-large-latest",
    name="moderator",
    description="Checks that requests are appropriate.",
    instructions="""Analyze the user request:
- If appropriate: transfer to the specialist
- If inappropriate: politely reply that the request is not supported
- If ambiguous: ask for clarification"""
)

specialist = client.beta.agents.create(
    model="mistral-large-latest",
    name="specialist",
    description="Handles validated requests.",
    tools=[{"type": "web_search"}]
)

moderator = client.beta.agents.update(
    agent_id=moderator.id,
    handoffs=[specialist.id]
)

Стойността на този модел се крие в разделянето на ролите: модераторът няма инструменти и прави само едно нещо, така че злонамерена заявка, която той отхвърли, никога не достига до агента, който знае как да действа.

Настройване на генерирането

Параметрите за генериране също допринасят за сигурността по проста причина: халюциниран отговор е риск, а креативността е неговата почва.

agent = client.beta.agents.create(
    model="mistral-large-latest",
    name="Factual Agent",
    description="Factual and conservative agent.",
    completion_args={
        "temperature": 0.1,   # Very low creativity
        "top_p": 0.85,        # Restricted nucleus
        "max_tokens": 1024    # Short responses
    }
)

Температура от 0.1 в комбинация с top_p от 0.85 оставя на модела много малко свобода на действие: за въпрос, чийто отговор се съдържа във Вашите документи, той го извлича, вместо да измисля вариант. Ограничението от 1024 токена играе подобна роля, защото отговор, който става твърде дълъг, в крайна сметка се отклонява от документиранния обхват и произвежда попълващо съдържание. Тези настройки очевидно не са подходящи за креативен агент, но те са конфигурацията по подразбиране за всеки агент, от който се очаква да излага факти – юридически асистент, техническа поддръжка, продуктов експерт.

Преди преминаване към продукция

Тези механизми са валидни само когато са наслоени, а крайната проверка се свежда до няколко проверки. Инструкциите трябва изрично да дефинират обхвата и забраните, а агентът трябва да разполага само с инструментите, строго необходими за неговата задача. Уверете се, че предпазните механизми са активирани и че критичните работни потоци работят в клиентски режим, така че никакво предаване да не се изпълнява без Вашето одобрение. Осигурете store=False за всеки разговор, включващ чувствителни данни, и поддържайте ниска температура навсякъде, където се очаква агентът да остава фактологичен. Накрая, поставете агент за модериране пред веригата, така че неприемливите заявки никога да не достигнат до агентите, които знаят как да действат.

Ключови изводи

  • Предпазните механизми се конфигурират на ниво агент и/или разговор
  • Инструкциите са Вашата първа линия на защита – бъдете изрични относно забраните
  • Приложете принципа на най-малките привилегии: предоставете само необходимите инструменти
  • Клиентският режим Ви позволява да валидирате и блокирате неразрешени предавания
  • В продукция: модериране в началото на веригата, водене на дневници, бял списък на агентите, store=False за чувствителни данни