Премини към основното съдържание
Български— Изберете език
Меню

Одит за сигурност и сертифициране

Урок 14 от 14 Обновен 28 юли 2026 г. Напреднало
На тази страница
  1. От ад хок сигурност до сертифицируемо съответствие
  2. Разберете коя рамка се прилага
  3. Контролен списък, обхващащ пет области
  4. Одитът означава изискване на доказателства
  5. Автоматизирайте каквото можете
  6. Какво очаква сертифициращият орган
  7. Ключови изводи
  8. Проверете знанията си

От ад хок сигурност до сертифицируемо съответствие

Предходните уроци Ви предоставиха техническите инструменти за обезопасяване на AI система. Но еднократните проверки за сигурност не са достатъчни – и причината не е просто бюрокрация. Онова, което проверите веднъж, престава да бъде верифицирано щом пуснете следващия релийз, и нищо не сигнализира за тази пропуснатина. Клиенти, регулатори и партньори изискват формални доказателства: потвърждение, че Вашите контроли съществуват, функционират и се удържат във времето. Одитът и сертифицирането превръщат Вашите практики във верифицируема, непрекъсната рамка.

Разберете коя рамка се прилага

Пет рамки се пресичат в сферата на изкуствения интелект, всяка с различен обхват. Разграничете ги, преди да се ангажирате с каквото и да е.

Standard Scope AI relevance
ISO 27001 Information security Foundation for any system processing data
ISO 42001 AI management AI-specific: governance, risk, lifecycle
AI Act (EU) European regulation Mandatory for high-risk systems in the EU
SOC 2 Type II SaaS security controls Required by enterprise customers
OWASP LLM Top 10 LLM security best practices Reference checklist for technical audit

Решаващото разграничение разделя задължителното от факултативното. Законът за изкуствения интелект на ЕС (EU AI Act) е регламент: ако Вашата система попада в категорията на висок риск, нямате възможност за отказ. Стандартите ISO и SOC 2 са доброволни сертификати, обикновено изисквани от корпоративни клиенти, а не от регулатори. OWASP LLM Top 10 не подлежи на сертифициране – това е техническа референция и представлява най-добрата отправна точка за първи вътрешен одит, тъй като струва единствено време.

Контролен списък, обхващащ пет области

Сериозният одит надхвърля техниката. Контролният списък по-долу разпределя своите контролни точки в пет области, и това разпределение разказва история: управлението и съответствието тежат колкото сигурността, защото безупречна техническа настройка, която никой не притежава и никъде не е документирана, ще се провали при всеки външен одит.

Критичността разделя задължителното от препоръчителното – разграничение, което по-късно движи бинарно решение. Пясъчникът (sandboxing) фигурира като препоръчителен, а не задължителен, и тази класация е обоснована: той се прилага само за системи, които изпълняват генериран код, докато филтрирането на входове и изходи засяга всяко приложение без изключение. Един добре калибриран списък не иска от FAQ чатбот да обосновава изолацията на контейнери.

from dataclasses import dataclass, field
from datetime import datetime

@dataclass
class ControlPoint:
    id: str
    category: str
    description: str
    criticality: str  # mandatory, recommended, optional
    compliant: bool | None = None
    evidence: str = ""
    comment: str = ""

def create_audit_checklist() -> list[ControlPoint]:
    """Creates a comprehensive AI security audit checklist."""
    return [
        # Governance
        ControlPoint("GOV-01", "Governance",
            "Documented and approved AI security policy", "mandatory"),
        ControlPoint("GOV-02", "Governance",
            "Designated AI security owner (CISO/DPO)", "mandatory"),
        ControlPoint("GOV-03", "Governance",
            "Up-to-date register of AI processing activities", "mandatory"),

        # Data
        ControlPoint("DAT-01", "Data",
            "Inventory of data sent to LLM APIs", "mandatory"),
        ControlPoint("DAT-02", "Data",
            "Anonymization/pseudonymization of personal data", "mandatory"),
        ControlPoint("DAT-03", "Data",
            "DPA signed with each AI API provider", "mandatory"),
        ControlPoint("DAT-04", "Data",
            "Defined conversation retention policy", "mandatory"),

        # Technical security
        ControlPoint("SEC-01", "Security",
            "Prompt injection: defense-in-depth implemented", "mandatory"),
        ControlPoint("SEC-02", "Security",
            "Content filtering (inputs and outputs)", "mandatory"),
        ControlPoint("SEC-03", "Security",
            "Rate limiting and abuse detection", "mandatory"),
        ControlPoint("SEC-04", "Security",
            "API keys stored in a vault (not hardcoded)", "mandatory"),
        ControlPoint("SEC-05", "Security",
            "Sandboxing for generated code execution", "recommended"),
        ControlPoint("SEC-06", "Security",
            "Monitoring and alerts on anomalies", "recommended"),

        # Red teaming
        ControlPoint("RED-01", "Red teaming",
            "Security tests before every production release", "mandatory"),
        ControlPoint("RED-02", "Red teaming",
            "Regular red teaming (quarterly minimum)", "recommended"),
        ControlPoint("RED-03", "Red teaming",
            "Red team report with remediation tracking", "mandatory"),

        # Compliance
        ControlPoint("CONF-01", "Compliance",
            "DPIA completed for AI processing activities", "mandatory"),
        ControlPoint("CONF-02", "Compliance",
            "Data subject rights implemented (access, erasure)", "mandatory"),
        ControlPoint("CONF-03", "Compliance",
            "Transparent user notice about AI usage", "mandatory"),
        ControlPoint("CONF-04", "Compliance",
            "Risk classification per the EU AI Act", "recommended"),
    ]

Одитът означава изискване на доказателства

Полето, което променя всичко при изпълнението на одита, е evidence. Отбелязването на “compliant” без референция към документ не означава нищо за външен одитор, който систематично ще попита какво подкрепя твърдението. Примерът за употреба показва това ясно: съответствието на GOV-01 почива на именуван, датиран документ, а не на декларация за намерения.

Третото извикване илюстрира най-поучителния случай – несъответствие, съчетано с план за отстраняването му. API ключ във файл с променливи на средата не е скандал; това е често срещана практика. То все пак не покрива контролната точка, а коментарът очертава пътя към съответствие. Одит, който не открива несъответствия, трябва да поражда подозрения: обикновено това сигнализира за снизходителен контролен списък, а не за перфектна система.

Крайното решение е бинарно и без претегляне: едно единствено задължително несъответствие обръща присъдата. Степента на съответствие, изчислена успоредно, измерва прогреса между одитите – никога не преговаря самата присъда.

class AISecurityAudit:
    """Executes and documents an AI security audit."""

    def __init__(self, system_name: str, auditor: str):
        self.system_name = system_name
        self.auditor = auditor
        self.date = datetime.now().strftime("%Y-%m-%d")
        self.checklist = create_audit_checklist()

    def evaluate(self, point_id: str, compliant: bool, evidence: str, comment: str = ""):
        """Evaluates a control point."""
        for point in self.checklist:
            if point.id == point_id:
                point.compliant = compliant
                point.evidence = evidence
                point.comment = comment
                return
        raise ValueError(f"Unknown control point: {point_id}")

    def report(self) -> dict:
        """Generates the audit report."""
        evaluated = [p for p in self.checklist if p.compliant is not None]
        compliant = [p for p in evaluated if p.compliant]
        non_compliant = [p for p in evaluated if not p.compliant]
        not_evaluated = [p for p in self.checklist if p.compliant is None]

        # Mandatory non-compliances are blockers
        blockers = [
            p for p in non_compliant if p.criticality == "mandatory"
        ]

        return {
            "system": self.system_name,
            "auditor": self.auditor,
            "date": self.date,
            "total_controls": len(self.checklist),
            "evaluated": len(evaluated),
            "compliant": len(compliant),
            "non_compliant": len(non_compliant),
            "not_evaluated": len(not_evaluated),
            "blockers": len(blockers),
            "compliance_rate": f"{len(compliant) / max(len(evaluated), 1) * 100:.0f}%",
            "decision": "NON-COMPLIANT" if blockers else "COMPLIANT",
            "blocking_non_compliances": [
                {"id": p.id, "description": p.description, "comment": p.comment}
                for p in blockers
            ],
        }

# Usage example
audit = AISecurityAudit("Customer Support Chatbot v2.3", "security_analyst")
audit.evaluate("GOV-01", True, "Document POL-SEC-AI-2026 approved on 2026-01-15")
audit.evaluate("SEC-01", True, "Multi-layer guardrails implemented (see architecture)")
audit.evaluate("SEC-04", False, "OpenAI API key in .env environment variable",
              "Migrate to a vault (HashiCorp Vault or AWS Secrets Manager)")

result = audit.report()
print(f"Decision: {result['decision']}")
print(f"Compliance rate: {result['compliance_rate']}")

Един последен брояч – броят на неоценените точки – играе тиха, но решаваща роля. Той Ви предпазва да не бъркате “съответстващо” с “непроверено”, объркване, което се промъква, когато одитът се разтегля с седмици и никой не помни къде е спрял.

Автоматизирайте каквото можете

Годишният одит улавя моментна снимка. Между снимките API ключ може да бъде вграден в кода, лимит на честотата да бъде деактивиран, за да се отблокира набързо клиент, или модерирането да бъде заобиколено за бърз тест. Автоматизираните проверки запълват тази празнота, като се изпълняват при всеки цикъл на непрекъсната интеграция.

Не всичко се поддава на автоматизация и трябва да го кажете направо. Търсенето на вградени ключове е механизируемо, защото инспектира кода. Другите две проверки в примера връщат твърдо кодирани стойности, което има смисъл единствено като отправна точка: в продукционна среда те трябва реално да упражняват услугата – да извикат API-то двадесет и един пъти, за да потвърдят появата на код 429, или да подадат тестово съдържание към модерирането, за да потвърдят, че то реагира. Проверка, която винаги връща true, е по-лоша от липсата на проверка, защото създава фалшиво доверие, без да измерва каквото и да е.

class ContinuousAudit:
    """Automatically verifies security controls on an ongoing basis."""

    def __init__(self):
        self.checks = {}

    def add_check(self, name: str, check_function):
        """Adds an automated check."""
        self.checks[name] = check_function

    def run(self) -> dict:
        """Runs all checks."""
        results = {}
        for name, check in self.checks.items():
            try:
                ok, detail = check()
                results[name] = {"status": "PASS" if ok else "FAIL", "detail": detail}
            except Exception as e:
                results[name] = {"status": "ERROR", "detail": str(e)}
        return results

# Automated checks
continuous_audit = ContinuousAudit()

def check_api_keys():
    """Verifies that no API keys are hardcoded in the codebase."""
    import subprocess
    result = subprocess.run(
        ["grep", "-r", "sk-", "src/", "--include=*.py", "-l"],
        capture_output=True, text=True,
    )
    files = result.stdout.strip().split("\n") if result.stdout.strip() else []
    return len(files) == 0, f"{len(files)} file(s) with hardcoded key"

def check_rate_limiting():
    """Verifies that rate limiting is active."""
    return True, "Rate limiting active (429 after 20 req/min)"

def check_moderation():
    """Verifies that moderation is active on the pipeline."""
    return True, "Moderation API called on inputs and outputs"

continuous_audit.add_check("api_keys_secured", check_api_keys)
continuous_audit.add_check("rate_limiting_active", check_rate_limiting)
continuous_audit.add_check("moderation_active", check_moderation)

Какво очаква сертифициращият орган

Целта за сертифициране като ISO 42001 или SOC 2 измества усилията и трябва да знаете това, преди да се ангажирате. Документацията е на първо място: актуални политики, процедури и регистри – работата, която инженерните екипи най-лесно отлагат. Следват доказателствата – логове, отчети от тестове, екранни снимки – и е много по-лесно да ги съберете, ако ги архивирате в процеса на работа, а не три седмици преди одита. Историята е най-трудното изискване за наваксване: SOC 2 Type II изследва как контролите са функционирали в продължение на няколко месеца, нещо, което никакъв последен момент не може да фалшифицира. Обучението идва след това и трябва да докажете, че се е случило, което означава датирани списъци с присъстващи и материали. Накрая, непрекъснатото подобрение изисква да покажете, че констатациите се отстраняват и ретестват – точно цикълът за повторна валидация от предишната глава, чиято стойност вече виждате: той произвежда доказателствата, които сертифициращият орган ще изиска.

Цикълът одит, поправка, ретест, сертифициране няма край. Всяка нова функция отново отваря контролни точки и това е самият смисъл на “непрекъснато” в “непрекъснато подобрение”.

Ключови изводи

  • Одитът превръща добрите практики за сигурност във верифицируеми доказателства
  • Контролният списък обхваща управление, данни, техническа сигурност, red teaming и съответствие
  • Задължителните несъответствия са блокиращи – те трябва да бъдат отстранени преди внедряване
  • Непрекъснатият одит автоматизира повтарящите се проверки (API ключове, лимити на честотата, модериране)
  • Сертифицирането (ISO 42001, SOC 2) изисква документация, доказателства и история: цикълът одит, поправка, ретест е непрекъснат, никога еднократен

Проверете знанията си

Офанзивна и дефанзивна сигурност: финалният контрол преди одита.

1. Какво е атака чрез инжектиране на промпт (prompt injection)?

Отговор: Зловредни инструкции, вмъкнати в данните, които моделът обработва (уеб страница, документ, съобщение), за да се отнеме контролът над поведението му – защита: изолирайте инструкциите от данните, валидирайте изходите, ограничете изложените възможности.

2. Jailbreaking срещу инжектиране на промпт: каква е разликата?

Отговор: Jailbreaking се опитва да накара модела да заобиколи правилата си чрез директен разговор; инжектирането работи чрез съдържание от трети страни, което той обработва. И двете се тестват – и противодействат – по различен начин.

3. Защо многопластово филтриране?

Отговор: Защото никой единичен слой не е перфектен: модериране на входа, защитни огради на ниво приложение, контроли на изхода и лимитиране на честотата се допълват взаимно – защита в дълбочина, приложена към изкуствения интелект.

4. Какво включва една кампания за red teaming на AI?

Отговор: Методично атакуване на собствената Ви система (сценарии за инжектиране, jailbreaks, ексфилтрация) с таксономия на рисковете, документиране на пробивите, приоритизиране на отстраняването – след което повторно тестване.

5. Какво обхваща аспектът на GDPR при внедряване на OpenAI?

Отговор: Правното основание за обработване, минимизиране на данните за изпращаните данни, правата на субектите на данни и договорните гаранции – съответствието се проектира заедно с архитектурата, а не след това.

Една безопасна AI система е доказана: таксономия, офанзивни тестове, многослойни защити, одит – цикълът, който този курс Ви накара да практикувате.