Prejsť na hlavný obsah
Slovenčina— Vyberte jazyk
Menu

Audit bezpečnosti a certifikácia

Lekcia 14 z 14 Aktualizované 28. júla 2026 Pokročilý
Na tejto strane
  1. Od ad hoc bezpečnosti k certifikovateľnej zhode
  2. Poznaj applicable rámec
  3. Kontrolný zoznam pokrývajúci päť domén
  4. Audit znamená vyžadovať dôkazy
  5. Automatizuj, čo sa dá
  6. Čo očakáva certifikátor
  7. Kľúčové poznatky
  8. Otestuj si svoje vedomosti

Od ad hoc bezpečnosti k certifikovateľnej zhode

Predchádzajúce lekcie ti poskytli technické nástroje na zabezpečenie systému umelej inteligencie. Jednorazové bezpečnostné kontroly však nestačia – a dôvodom nie je len byrokracia. To, čo overíš raz, prestáva byť overené hneď, ako vydáš ďalšiu verziu, a nič túto medzeru neoznačí. Zákazníci, regulátori aj partneri si vyžadujú formálne dôkazy: potvrdenie, že tvoje kontrolné mechanizmy existujú, fungujú a odolávajú v čase. Audit a certifikácia menia tvoje postupy na overiteľný, nepretržitý rámec.

Poznaj applicable rámec

V oblasti umelej inteligencie sa pretína päť rámcov, každý s iným rozsahom. Rozlíš ich skôr, než sa k niečomu zaväzuješ.

Štandard Rozsah Význam pre AI
ISO 27001 Bezpečnosť informácií Základ pre akýkoľvek systém spracúvajúci dáta
ISO 42001 Manažment AI Špecifické pre AI: správa, riziká, životný cyklus
AI Act (EÚ) Európska regulácia Povinné pre vysoko rizikové systémy v EÚ
SOC 2 Type II Kontrolné mechanizmy bezpečnosti SaaS Požadované podnikovými zákazníkmi
OWASP LLM Top 10 Najlepšie postupy bezpečnosti LLM Referenčný kontrolný zoznam pre technický audit

Rozhodujúci rozdiel oddeľuje to, čo je povinné, od toho, čo je dobrovoľné. Nariadenie EÚ o umelej inteligencii (AI Act) je regulácia: ak tvoj systém spadá do kategórie vysokého rizika, nemáš možnosť voľby. Normy ISO a SOC 2 sú dobrovoľné certifikácie, ktoré zvyčajne vyžadujú skôr podnikoví zákazníci než regulátori. OWASP LLM Top 10 nie je certifikovateľný – je to technická referenčná príručka a najlepší východiskový bod pre prvý interný audit, pretože stojí len čas.

Kontrolný zoznam pokrývajúci päť domén

Seriózny audit presahuje čisto technickú rovinu. Nižšie uvedený kontrolný zoznam rozdeľuje svoje kontrolné body do piatich domén a toto rozdelenie niečo vypovedá: správa a súlad majú rovnakú váhu ako bezpečnosť, pretože dokonale technické nastavenie, ktoré nikto nevlastní a nikde nie je zdokumentované, zlyhá pri každom externom audite.

Kritickosť oddeľuje povinné od odporúčaných, čo neskôr vedie k binárnemu rozhodnutiu. Sandboxovanie sa javí ako odporúčané, nie povinné, a toto zaradenie je opodstatnené: platí len pre systémy, ktoré vykonávajú generovaný kód, zatiaľ čo filtrovanie vstupov a výstupov sa týka každej aplikácie bez výnimky. Dobre nastavený kontrolný zoznam nežiada od FAQ chatbota, aby odôvodňoval izoláciu kontajnerov.

from dataclasses import dataclass, field
from datetime import datetime

@dataclass
class ControlPoint:
    id: str
    category: str
    description: str
    criticality: str  # mandatory, recommended, optional
    compliant: bool | None = None
    evidence: str = ""
    comment: str = ""

def create_audit_checklist() -> list[ControlPoint]:
    """Creates a comprehensive AI security audit checklist."""
    return [
        # Governance
        ControlPoint("GOV-01", "Governance",
            "Documented and approved AI security policy", "mandatory"),
        ControlPoint("GOV-02", "Governance",
            "Designated AI security owner (CISO/DPO)", "mandatory"),
        ControlPoint("GOV-03", "Governance",
            "Up-to-date register of AI processing activities", "mandatory"),

        # Data
        ControlPoint("DAT-01", "Data",
            "Inventory of data sent to LLM APIs", "mandatory"),
        ControlPoint("DAT-02", "Data",
            "Anonymization/pseudonymization of personal data", "mandatory"),
        ControlPoint("DAT-03", "Data",
            "DPA signed with each AI API provider", "mandatory"),
        ControlPoint("DAT-04", "Data",
            "Defined conversation retention policy", "mandatory"),

        # Technical security
        ControlPoint("SEC-01", "Security",
            "Prompt injection: defense-in-depth implemented", "mandatory"),
        ControlPoint("SEC-02", "Security",
            "Content filtering (inputs and outputs)", "mandatory"),
        ControlPoint("SEC-03", "Security",
            "Rate limiting and abuse detection", "mandatory"),
        ControlPoint("SEC-04", "Security",
            "API keys stored in a vault (not hardcoded)", "mandatory"),
        ControlPoint("SEC-05", "Security",
            "Sandboxing for generated code execution", "recommended"),
        ControlPoint("SEC-06", "Security",
            "Monitoring and alerts on anomalies", "recommended"),

        # Red teaming
        ControlPoint("RED-01", "Red teaming",
            "Security tests before every production release", "mandatory"),
        ControlPoint("RED-02", "Red teaming",
            "Regular red teaming (quarterly minimum)", "recommended"),
        ControlPoint("RED-03", "Red teaming",
            "Red team report with remediation tracking", "mandatory"),

        # Compliance
        ControlPoint("CONF-01", "Compliance",
            "DPIA completed for AI processing activities", "mandatory"),
        ControlPoint("CONF-02", "Compliance",
            "Data subject rights implemented (access, erasure)", "mandatory"),
        ControlPoint("CONF-03", "Compliance",
            "Transparent user notice about AI usage", "mandatory"),
        ControlPoint("CONF-04", "Compliance",
            "Risk classification per the EU AI Act", "recommended"),
    ]

Audit znamená vyžadovať dôkazy

Poľom, ktoré mení všetko pri vykonávaní auditu, je evidence. Zaškrtnutie „compliant“ bez odkazu na dokument nemá pre externého audítora žiadnu váhu; ten sa systematicky pýta, čo tvrdenie podoporuje. Príklad použitia to jasne ukazuje: súlad GOV-01 stojí na pomenovanom a datovanom dokumente, nie na vyhlásení o úmysle.

Tretie volanie ilustruje najpoučnejší prípad – nesúlad spojený s plánom nápravy. API kľúč v súbore s premennými prostredia nie je škandál; je to bežná prax. Stále však zlyháva v kontrolnom bode a komentár načrtáva cestu k súladu. Audit, ktorý neodhalí žiadne nesúlady, by mal vzbudzovať podozrenie: zvyčajne signalizuje príliš zhovievavý kontrolný zoznam, nie dokonalý systém.

Konečné rozhodnutie je binárne a nevážené: jediný povinný nesúlad prevráti verdikt. Miera súladu, vypočítaná popri tom, meria pokrok medzi auditmi – nikdy však nevyjednáva o samotnom verdikte.

class AISecurityAudit:
    """Executes and documents an AI security audit."""

    def __init__(self, system_name: str, auditor: str):
        self.system_name = system_name
        self.auditor = auditor
        self.date = datetime.now().strftime("%Y-%m-%d")
        self.checklist = create_audit_checklist()

    def evaluate(self, point_id: str, compliant: bool, evidence: str, comment: str = ""):
        """Evaluates a control point."""
        for point in self.checklist:
            if point.id == point_id:
                point.compliant = compliant
                point.evidence = evidence
                point.comment = comment
                return
        raise ValueError(f"Unknown control point: {point_id}")

    def report(self) -> dict:
        """Generates the audit report."""
        evaluated = [p for p in self.checklist if p.compliant is not None]
        compliant = [p for p in evaluated if p.compliant]
        non_compliant = [p for p in evaluated if not p.compliant]
        not_evaluated = [p for p in self.checklist if p.compliant is None]

        # Mandatory non-compliances are blockers
        blockers = [
            p for p in non_compliant if p.criticality == "mandatory"
        ]

        return {
            "system": self.system_name,
            "auditor": self.auditor,
            "date": self.date,
            "total_controls": len(self.checklist),
            "evaluated": len(evaluated),
            "compliant": len(compliant),
            "non_compliant": len(non_compliant),
            "not_evaluated": len(not_evaluated),
            "blockers": len(blockers),
            "compliance_rate": f"{len(compliant) / max(len(evaluated), 1) * 100:.0f}%",
            "decision": "NON-COMPLIANT" if blockers else "COMPLIANT",
            "blocking_non_compliances": [
                {"id": p.id, "description": p.description, "comment": p.comment}
                for p in blockers
            ],
        }

# Usage example
audit = AISecurityAudit("Customer Support Chatbot v2.3", "security_analyst")
audit.evaluate("GOV-01", True, "Document POL-SEC-AI-2026 approved on 2026-01-15")
audit.evaluate("SEC-01", True, "Multi-layer guardrails implemented (see architecture)")
audit.evaluate("SEC-04", False, "OpenAI API key in .env environment variable",
              "Migrate to a vault (HashiCorp Vault or AWS Secrets Manager)")

result = audit.report()
print(f"Decision: {result['decision']}")
print(f"Compliance rate: {result['compliance_rate']}")

Posledný počítadlo – počet nevyhodnotených bodov – hrá tichú, no rozhodujúcu úlohu. Zabraňuje tomu, aby si si pomýlil „súlad“ s „neskontrolované“, čo je zmätok, ktorý sa vkráda, keď sa audit naťahuje týždne a nikto si nepamätá, kde sa skončilo.

Automatizuj, čo sa dá

Ročný audit zachytáva snapshot. Medzi snapshotmi môže byť API kľúč natvrdo zakódovaný, limit rýchlosti vypnutý, aby sa odblokoval ponáhľajúci sa zákazník, alebo moderovanie obídené pre rýchly test. Automatizované kontroly vypĺňajú túto medzeru behom pri každom cykle continuous integration.

Nie všetko sa dá automatizovať a mal by si to povedať narovinu. Hľadanie natvrdo zakódovaných kľúčov je mechanizovateľné, pretože skúma kód. Ostatné dve kontroly v príklade vracajú natvrdo nastavené hodnoty, čo dáva zmysel len ako východiskový bod: v produkcii musia skutočne cvičiť službu – zavolať API dvadsaťjedenkrát, aby sa potvrdilo objavenie 429, alebo odoslať testovací obsah na moderovanie, aby sa potvrdila odozva. Kontrola, ktorá vždy vráti true, je horšia ako žiadna kontrola, pretože vyrába falošnú dôveru bez merania čohokoľvek.

class ContinuousAudit:
    """Automatically verifies security controls on an ongoing basis."""

    def __init__(self):
        self.checks = {}

    def add_check(self, name: str, check_function):
        """Adds an automated check."""
        self.checks[name] = check_function

    def run(self) -> dict:
        """Runs all checks."""
        results = {}
        for name, check in self.checks.items():
            try:
                ok, detail = check()
                results[name] = {"status": "PASS" if ok else "FAIL", "detail": detail}
            except Exception as e:
                results[name] = {"status": "ERROR", "detail": str(e)}
        return results

# Automated checks
continuous_audit = ContinuousAudit()

def check_api_keys():
    """Verifies that no API keys are hardcoded in the codebase."""
    import subprocess
    result = subprocess.run(
        ["grep", "-r", "sk-", "src/", "--include=*.py", "-l"],
        capture_output=True, text=True,
    )
    files = result.stdout.strip().split("\n") if result.stdout.strip() else []
    return len(files) == 0, f"{len(files)} file(s) with hardcoded key"

def check_rate_limiting():
    """Verifies that rate limiting is active."""
    return True, "Rate limiting active (429 after 20 req/min)"

def check_moderation():
    """Verifies that moderation is active on the pipeline."""
    return True, "Moderation API called on inputs and outputs"

continuous_audit.add_check("api_keys_secured", check_api_keys)
continuous_audit.add_check("rate_limiting_active", check_rate_limiting)
continuous_audit.add_check("moderation_active", check_moderation)

Čo očakáva certifikátor

Smerovanie k certifikácii, ako je ISO 42001 alebo SOC 2, posúva úsilie a mal by si to vedieť skôr, než sa zaväzuješ. Na prvom mieste je dokumentácia: aktuálne politiky, procedúry a registre – práca, ktorú inžinierske tímy najradšej odkladajú. Nasledujú dôkazy – logy, reporty z testov, screenshoty – a oveľa ľahšie sa zbierajú, ak ich archivuješ priebežne, nie tri týždne pred auditom. História je najťažšia požiadavka, ktorú treba dohnať: SOC 2 Type II skúma, ako kontrolné mechanizmy fungovali počas niekoľkých mesiacov, čo žiadny last-minute tlak nedokáže vyfabrikovať. Ďalej prichádza školenie a musíš preukázať, že sa uskutočnilo, čo znamená datované prezenčné listiny a materiály. Napokon, neustále zlepšovanie si vyžaduje ukázať, že zistenia sú opravené a znovu otestované – presne táto slučka overovania z predchádzajúcej kapitoly, ktorej hodnotu teraz vidíš: produkuje dôkazy, ktoré certifikátor bude požadovať.

Cyklus audit, oprava, retest, certifikácia nemá koniec. Každá nová funkcia znovu otvára kontrolné body a to je presný význam slova „nepretržitý“ v „nepretržitom zlepšovaní“.

Kľúčové poznatky

  • Audit mení najlepšie postupy bezpečnosti na overiteľné dôkazy
  • Kontrolný zoznam pokrýva správu, dáta, technickú bezpečnosť, red teaming a súlad
  • Povinné nesúlady sú blokátory – musia byť opravené pred nasadením
  • Nepretržitý audit automatizuje opakujúce sa kontroly (API kľúče, limitovanie rýchlosti, moderovanie)
  • Certifikácia (ISO 42001, SOC 2) vyžaduje dokumentáciu, dôkazy a históriu: cyklus audit, oprava, retest je nepretržitý, nikdy nie jednorazový

Otestuj si svoje vedomosti

Ofenzívna a defenzívna bezpečnosť: posledná kontrola pred auditom.

1. Čo je to útok prompt injection?

Odpoveď: Škodlivé inštrukcie prepašované do dát, ktoré model spracúva (webová stránka, dokument, správa), aby uniesol jeho správanie – obrana: izoluj inštrukcie od dát, validuj výstupy, obmedz exponované schopnosti.

2. Jailbreaking vs. prompt injection: aký je rozdiel?

Odpoveď: Jailbreaking sa snaží prinútiť model obísť jeho pravidlá priamou konverzáciou; injection funguje prostredníctvom obsahu tretích strán, ktorý model spracúva. Obe sa testujú – a counterujú – odlišne.

3. Prečo viacvrstvové filtrovanie?

Odpoveď: Pretože žiadna jedna vrstva nie je dokonalá: moderovanie vstupov, aplikačné ochranné mechanizmy, kontroly výstupov a limitovanie rýchlosti sa navzájom dopĺňajú – obrana do hĺbky aplikovaná na AI.

4. Čo zahŕňa kampaň red teamingu pre AI?

Odpoveď: Metodické útočenie na vlastný systém (scenáre injection, jailbreaky, exfiltrácia) s taxonómiou rizík, dokumentovanie prienikov, prioritizácia nápravy – a následný retest.

5. Čo pokrýva uhol pohľadu GDPR pri nasadení OpenAI?

Odpoveď: Právny základ spracúvania, minimalizácia dát pre odosielané dáta, práva dotknutých osôb a zmluvné záruky – súlad je navrhnutý spolu s architektúrou, nie až po nej.

Bezpečný systém umelej inteligencie je dokázaný: taxonómia, ofenzívne testy, vrstvené obrany, audit – cyklus, ktorý si v tomto kurze precvičil.