Preskoči na glavni sadržaj
Hrvatski— Odaberite jezik
Izbornik

Revizija sigurnosti i certifikacija

Lekcija 14 od 14 Ažurirano 28. srpnja 2026. Napredno
Na ovoj stranici
  1. Od ad hoc sigurnosti do certifikabilne usklađenosti
  2. Znaj koji se okvir primjenjuje
  3. Popis provjere koji pokriva pet domena
  4. Revizija znači zahtijevanje dokaza
  5. Automatiziraj što možeš
  6. Što certifikator očekuje
  7. Ključne točke
  8. Provjeri svoje znanje

Od ad hoc sigurnosti do certifikabilne usklađenosti

Prethodne lekcije dale su ti tehničke alate za osiguravanje AI sustava. No, jednokratne sigurnosne provjere nisu dovoljne – a razlog nije samo birokracija. Ono što verificiraš jednom, prestaje biti verificirano čim isporučiš sljedeću verziju, a ništa ne označava taj jaz. Kupci, regulatorna tijela i partneri zahtijevaju formalne dokaze: potvrdu da tvoje kontrole postoje, funkcioniraju i održavaju se tijekom vremena. Revizija i certifikacija pretvaraju tvoje prakse u provjerljiv, kontinuirani okvir.

Znaj koji se okvir primjenjuje

Pet okvira presijeca se u području AI-ja, svaki s drugačijim opsegom. Razlikuj ih prije nego što se obvežeš na bilo što.

Standard Opseg Relevantnost za AI
ISO 27001 Sigurnost informacija Temelj za svaki sustav koji obrađuje podatke
ISO 42001 Upravljanje AI-jem Specifično za AI: upravljanje, rizik, životni ciklus
AI Act (EU) Europska regulativa Obavezno za visokorizične sustave u EU-u
SOC 2 Type II Kontrole sigurnosti za SaaS Zahtijevaju poslovni korisnici
OWASP LLM Top 10 Najbolje prakse sigurnosti za LLM Referentni popis za tehničku reviziju

Ključna razlika odvaja ono što je obavezno od onoga što je opcionalno. EU AI Act je regulativa: ako tvoj sustav spada u kategoriju visokog rizika, nemaš izbora. ISO standardi i SOC 2 su dobrovoljne certifikacije, koje obično zahtijevaju poslovni korisnici, a ne regulatorna tijela. OWASP LLM Top 10 nije certifikabilan – to je tehnička referenca i najbolja polazna točka za prvu internu reviziju jer košta samo vrijeme.

Popis provjere koji pokriva pet domena

Ozbiljna revizija ide dalje od same tehnike. Donji popis provjere raspoređuje svoje kontrolne točke kroz pet domena, a ta raspodjela govori mnogo: upravljanje i usklađenost teže jednako kao i sigurnost, jer će savršena tehnička postavka koju nitko ne posjeduje i nigdje ne dokumentira propasti na svakoj vanjskoj reviziji.

Kritičnost odvaja obavezno od preporučenog, što kasnije vodi do binarne odluke. Sandboxing se pojavljuje kao preporučen, a ne obavezan, a ta je rangiranost opravdana: primjenjuje se samo na sustave koji izvršavaju generirani kod, dok se filtriranje ulaza i izlaza tiče svake aplikacije bez iznimke. Dobro podešen popis provjere ne traži od FAQ chatbota da opravda izolaciju kontejnera.

from dataclasses import dataclass, field
from datetime import datetime

@dataclass
class ControlPoint:
    id: str
    category: str
    description: str
    criticality: str  # mandatory, recommended, optional
    compliant: bool | None = None
    evidence: str = ""
    comment: str = ""

def create_audit_checklist() -> list[ControlPoint]:
    """Creates a comprehensive AI security audit checklist."""
    return [
        # Governance
        ControlPoint("GOV-01", "Governance",
            "Documented and approved AI security policy", "mandatory"),
        ControlPoint("GOV-02", "Governance",
            "Designated AI security owner (CISO/DPO)", "mandatory"),
        ControlPoint("GOV-03", "Governance",
            "Up-to-date register of AI processing activities", "mandatory"),

        # Data
        ControlPoint("DAT-01", "Data",
            "Inventory of data sent to LLM APIs", "mandatory"),
        ControlPoint("DAT-02", "Data",
            "Anonymization/pseudonymization of personal data", "mandatory"),
        ControlPoint("DAT-03", "Data",
            "DPA signed with each AI API provider", "mandatory"),
        ControlPoint("DAT-04", "Data",
            "Defined conversation retention policy", "mandatory"),

        # Technical security
        ControlPoint("SEC-01", "Security",
            "Prompt injection: defense-in-depth implemented", "mandatory"),
        ControlPoint("SEC-02", "Security",
            "Content filtering (inputs and outputs)", "mandatory"),
        ControlPoint("SEC-03", "Security",
            "Rate limiting and abuse detection", "mandatory"),
        ControlPoint("SEC-04", "Security",
            "API keys stored in a vault (not hardcoded)", "mandatory"),
        ControlPoint("SEC-05", "Security",
            "Sandboxing for generated code execution", "recommended"),
        ControlPoint("SEC-06", "Security",
            "Monitoring and alerts on anomalies", "recommended"),

        # Red teaming
        ControlPoint("RED-01", "Red teaming",
            "Security tests before every production release", "mandatory"),
        ControlPoint("RED-02", "Red teaming",
            "Regular red teaming (quarterly minimum)", "recommended"),
        ControlPoint("RED-03", "Red teaming",
            "Red team report with remediation tracking", "mandatory"),

        # Compliance
        ControlPoint("CONF-01", "Compliance",
            "DPIA completed for AI processing activities", "mandatory"),
        ControlPoint("CONF-02", "Compliance",
            "Data subject rights implemented (access, erasure)", "mandatory"),
        ControlPoint("CONF-03", "Compliance",
            "Transparent user notice about AI usage", "mandatory"),
        ControlPoint("CONF-04", "Compliance",
            "Risk classification per the EU AI Act", "recommended"),
    ]

Revizija znači zahtijevanje dokaza

Polje koje mijenja sve u izvršenju revizije jest evidence. Označiti „compliant“ bez reference na dokument nema nikakvu vrijednost za vanjskog revizora, koji će sustavno pitati što podupire tu tvrdnju. Primjer korištenja to jasno pokazuje: usklađenost s GOV-01 počiva na imenovanom, datiranom dokumentu, a ne na izjavi o namjeri.

Treći poziv ilustrira najpoučniji slučaj – neusklađenost uparena s planom remedijacije. API ključ u datoteci s varijablama okruženja nije skandal; to je česta praksa. Ipak, to ne prolazi kontrolnu točku, a komentar ocrtava put do usklađenosti. Revizija koja ne otkrije nijednu neusklađenost trebala bi pobuditi sumnju: obično signalizira popustljiv popis provjere, a ne savršen sustav.

Konačna odluka je binarna i bez ponderiranja: jedna jedina obavezna neusklađenost preokreće presudu. Stopa usklađenosti, izračunata uz to, mjeri napredak između revizija – nikada ne pregovara o samoj presudi.

class AISecurityAudit:
    """Executes and documents an AI security audit."""

    def __init__(self, system_name: str, auditor: str):
        self.system_name = system_name
        self.auditor = auditor
        self.date = datetime.now().strftime("%Y-%m-%d")
        self.checklist = create_audit_checklist()

    def evaluate(self, point_id: str, compliant: bool, evidence: str, comment: str = ""):
        """Evaluates a control point."""
        for point in self.checklist:
            if point.id == point_id:
                point.compliant = compliant
                point.evidence = evidence
                point.comment = comment
                return
        raise ValueError(f"Unknown control point: {point_id}")

    def report(self) -> dict:
        """Generates the audit report."""
        evaluated = [p for p in self.checklist if p.compliant is not None]
        compliant = [p for p in evaluated if p.compliant]
        non_compliant = [p for p in evaluated if not p.compliant]
        not_evaluated = [p for p in self.checklist if p.compliant is None]

        # Mandatory non-compliances are blockers
        blockers = [
            p for p in non_compliant if p.criticality == "mandatory"
        ]

        return {
            "system": self.system_name,
            "auditor": self.auditor,
            "date": self.date,
            "total_controls": len(self.checklist),
            "evaluated": len(evaluated),
            "compliant": len(compliant),
            "non_compliant": len(non_compliant),
            "not_evaluated": len(not_evaluated),
            "blockers": len(blockers),
            "compliance_rate": f"{len(compliant) / max(len(evaluated), 1) * 100:.0f}%",
            "decision": "NON-COMPLIANT" if blockers else "COMPLIANT",
            "blocking_non_compliances": [
                {"id": p.id, "description": p.description, "comment": p.comment}
                for p in blockers
            ],
        }

# Usage example
audit = AISecurityAudit("Customer Support Chatbot v2.3", "security_analyst")
audit.evaluate("GOV-01", True, "Document POL-SEC-AI-2026 approved on 2026-01-15")
audit.evaluate("SEC-01", True, "Multi-layer guardrails implemented (see architecture)")
audit.evaluate("SEC-04", False, "OpenAI API key in .env environment variable",
              "Migrate to a vault (HashiCorp Vault or AWS Secrets Manager)")

result = audit.report()
print(f"Decision: {result['decision']}")
print(f"Compliance rate: {result['compliance_rate']}")

Još jedan brojač – broj neprocijenjenih točaka – igra tihu, ali odlučujuću ulogu. Sprječava te da pobrkaš „usklađeno“ s „neprovjereno“, zabunu koja se uvlači kada se revizija razvuče na tjedne, a nitko se ne sjeća gdje je stala.

Automatiziraj što možeš

Godišnja revizija bilježi samo snimku stanja. Između snimki, API ključ može biti hardkodiran, ograničenje brzine onemogućeno kako bi se odblokirao žurni korisnik, ili moderacija zaobiđena radi brzog testa. Automatizirane provjere popunjavaju taj jaz pokretanjem u svakom ciklusu kontinuirane integracije.

Nije se sve može automatizirati, i to trebaš jasno reći. Traženje hardkodiranih ključeva mehanizirano je jer inspektira kod. Druge dvije provjere u primjeru vraćaju hardkodirane vrijednosti, što ima smisla samo kao polazna točka: u produkciji one moraju stvarno vježbati uslugu – pozvati API dvadeset i jedan put kako bi se potvrdio odgovor 429, ili poslati testni sadržaj na moderaciju kako bi se potvrdio odgovor. Provjera koja uvijek vraća true gora je od nepostojanja provjere, jer stvara lažno povjerenje bez mjerenja bilo čega.

class ContinuousAudit:
    """Automatically verifies security controls on an ongoing basis."""

    def __init__(self):
        self.checks = {}

    def add_check(self, name: str, check_function):
        """Adds an automated check."""
        self.checks[name] = check_function

    def run(self) -> dict:
        """Runs all checks."""
        results = {}
        for name, check in self.checks.items():
            try:
                ok, detail = check()
                results[name] = {"status": "PASS" if ok else "FAIL", "detail": detail}
            except Exception as e:
                results[name] = {"status": "ERROR", "detail": str(e)}
        return results

# Automated checks
continuous_audit = ContinuousAudit()

def check_api_keys():
    """Verifies that no API keys are hardcoded in the codebase."""
    import subprocess
    result = subprocess.run(
        ["grep", "-r", "sk-", "src/", "--include=*.py", "-l"],
        capture_output=True, text=True,
    )
    files = result.stdout.strip().split("\n") if result.stdout.strip() else []
    return len(files) == 0, f"{len(files)} file(s) with hardcoded key"

def check_rate_limiting():
    """Verifies that rate limiting is active."""
    return True, "Rate limiting active (429 after 20 req/min)"

def check_moderation():
    """Verifies that moderation is active on the pipeline."""
    return True, "Moderation API called on inputs and outputs"

continuous_audit.add_check("api_keys_secured", check_api_keys)
continuous_audit.add_check("rate_limiting_active", check_rate_limiting)
continuous_audit.add_check("moderation_active", check_moderation)

Što certifikator očekuje

Ciljanje certifikacije poput ISO 42001 ili SOC 2 pomiče težište napora, i to trebaš znati prije nego što se obvežeš. Dokumentacija dolazi prva: ažurirane politike, procedure i registri – posao koji inženjerski timovi najradije odgađaju. Dokazi slijede – zapisi, izvješća o testovima, snimke zaslona – i puno ih je lakše prikupiti ako ih arhiviraš usput, a ne tri tjedna prije revizije. Povijest je najteži zahtjev za nadoknaditi: SOC 2 Type II ispituje kako su kontrole funkcionirale tijekom nekoliko mjeseci, što nikakav posljednji trenutak ne može fabricirati. Obuka dolazi sljedeća, i moraš dokazati da se dogodila, što znači datirane liste prisutnih i materijale. Konačno, kontinuirano poboljšanje zahtijeva pokazivanje da se nalazi popravljaju i ponovno testiraju – točno onaj ciklus ponovne validacije iz prethodnog poglavlja, čiju vrijednost sada vidiš: on proizvodi dokaze koje će certifikator zahtijevati.

Ciklus revizije, popravka, ponovnog testiranja i certifikacije nema kraja. Svaka nova značajka ponovno otvara kontrolne točke, i to je samo značenje riječi „kontinuirano“ u „kontinuiranom poboljšanju“.

Ključne točke

  • Revizija pretvara najbolje sigurnosne prakse u provjerljive dokaze
  • Popis provjere pokriva upravljanje, podatke, tehničku sigurnost, red teaming i usklađenost
  • Obavezne neusklađenosti su blokatori – moraju se popraviti prije implementacije
  • Kontinuirana revizija automatizira ponavljajuće provjere (API ključevi, ograničenje brzine, moderacija)
  • Certifikacija (ISO 42001, SOC 2) zahtijeva dokumentaciju, dokaze i povijest: ciklus revizije, popravka i ponovnog testiranja je kontinuiran, nikada jednokratan

Provjeri svoje znanje

Ofenzivna i defenzivna sigurnost: posljednja kontrola prije revizije.

1. Što je napad ubacivanjem upita (prompt injection)?

Odgovor: Zlonamjerne upute ubačene u podatke koje model obrađuje (web stranica, dokument, poruka) kako bi se preuzela kontrola nad njegovim ponašanjem – obrana: izoliraj upute od podataka, validiraj izlaze, ograniči izložene mogućnosti.

2. Jailbreaking naspram ubacivanja upita: koja je razlika?

Odgovor: Jailbreaking pokušava natjerati model da zaobiđe svoja pravila izravnim razgovorom; ubacivanje djeluje putem sadržaja treće strane koji model obrađuje. Oboje se testira – i suzbija – na različite načine.

3. Zašto višeslojno filtriranje?

Odgovor: Zato što nijedan sloj nije savršen: moderacija ulaza, zaštitne ograde aplikacije, kontrole izlaza i ograničenje brzine međusobno se nadopunjuju – obrana u dubini primijenjena na AI.

4. Što uključuje kampanja red teaminga za AI?

Odgovor: Metodično napadanje vlastitog sustava (scenariji ubacivanja, jailbreakovi, eksfiltracija) s taksonomijom rizika, dokumentiranje probijanja, prioritetizacija remedijacije – zatim ponovno testiranje.

5. Što pokriva aspekt GDPR-a u implementaciji OpenAI-ja?

Odgovor: Pravna osnova za obradu, minimizacija podataka za poslane podatke, prava ispitanika i ugovorne zaštite – usklađenost se dizajnira uz arhitekturu, a ne nakon nje.

Siguran AI sustav je dokazan: taksonomija, ofenzivni testovi, višeslojne obrane, revizija – ciklus koji si vježbao/la tijekom ovog tečaja.