Revizija varnosti in certificiranje
Na tej strani
Od ad hoc varnosti do certificirane skladnosti
Prejšnje lekcije so ti dale tehnična orodja za zavarovanje sistema umetne inteligence. A enkratni varnostni pregledi ne zadoščajo – in razlog ni le birokracija. Kar preveriš enkrat, preneha biti preverjeno takoj, ko izdaš naslednjo različico, in nič ne opozori na to vrzel. Stranke, regulatorji in partnerji zahtevajo formalne dokaze: dokaz, da tvoji kontrolni mehanizmi obstajajo, delujejo in zdržijo skozi čas. Revizija in certificiranje tvoje prakse spremenita v preverljiv, neprekinjen okvir.
Poznaj veljavni okvir
V svetu umetne inteligence se prekriva pet okvirjev, vsak z drugačnim obsegom. Preden se zavežeš k čemur koli, jih razloči.
| Standard | Obseg | Pomen za UI |
|---|---|---|
| ISO 27001 | Varnost informacij | Temelj za vsak sistem, ki obdeluje podatke |
| ISO 42001 | Upravljanje UI | Specifično za UI: upravljanje, tveganja, življenjski cikel |
| AI Act (EU) | Evropska uredba | Obvezno za visokotvegane sisteme v EU |
| SOC 2 Type II | Kontrolniki varnosti SaaS | Zahtevano s strani podjetniških strank |
| OWASP LLM Top 10 | Najboljše prakse varnosti LLM | Referenčni seznam za tehnično revizijo |
Ključna razlika ločuje med obveznim in prostovoljnim. Akt o umetni inteligenci (EU AI Act) je uredba: če tvoj sistem spada v kategorijo visokega tveganja, se mu ne moreš izogniti. Standardi ISO in SOC 2 so prostovoljna certifikata, ki ju običajno zahtevajo podjetniške stranke, ne regulatorji. OWASP LLM Top 10 ni predmet certificiranja – gre za tehnično referenco in najboljšo izhodiščno točko za prvi interni pregled, saj stane le čas.
Seznam kontrol, ki zajema pet področij
Resna revizija presega zgolj tehniko. Spodnji seznam razporeja kontrolne točke na pet področij, ta razporeditev pa pripoveduje zgodbo: upravljanje in skladnost tehtata toliko kot varnost, saj bo brezhibna tehnična postavitev, ki je nihče ne prevzame v odgovornost in nikjer ni dokumentirana, padla na vsakem zunanjem pregledu.
Kritičnost ločuje obvezno od priporočenega, kar kasneje vodi do binarne odločitve. Peskovničenje (sandboxing) je označeno kot priporočeno, ne obvezno, in ta razvrstitev je upravičena: velja le za sisteme, ki izvajajo generirano kodo, medtem ko filtriranje vhodov in izhodov zadeva vsako aplikacijo brez izjeme. Dobro umerjen seznam ne zahteva od FAQ klepetalnega bota, da utemelji izolacijo kontejnerjev.
from dataclasses import dataclass, field
from datetime import datetime
@dataclass
class ControlPoint:
id: str
category: str
description: str
criticality: str # mandatory, recommended, optional
compliant: bool | None = None
evidence: str = ""
comment: str = ""
def create_audit_checklist() -> list[ControlPoint]:
"""Creates a comprehensive AI security audit checklist."""
return [
# Governance
ControlPoint("GOV-01", "Governance",
"Documented and approved AI security policy", "mandatory"),
ControlPoint("GOV-02", "Governance",
"Designated AI security owner (CISO/DPO)", "mandatory"),
ControlPoint("GOV-03", "Governance",
"Up-to-date register of AI processing activities", "mandatory"),
# Data
ControlPoint("DAT-01", "Data",
"Inventory of data sent to LLM APIs", "mandatory"),
ControlPoint("DAT-02", "Data",
"Anonymization/pseudonymization of personal data", "mandatory"),
ControlPoint("DAT-03", "Data",
"DPA signed with each AI API provider", "mandatory"),
ControlPoint("DAT-04", "Data",
"Defined conversation retention policy", "mandatory"),
# Technical security
ControlPoint("SEC-01", "Security",
"Prompt injection: defense-in-depth implemented", "mandatory"),
ControlPoint("SEC-02", "Security",
"Content filtering (inputs and outputs)", "mandatory"),
ControlPoint("SEC-03", "Security",
"Rate limiting and abuse detection", "mandatory"),
ControlPoint("SEC-04", "Security",
"API keys stored in a vault (not hardcoded)", "mandatory"),
ControlPoint("SEC-05", "Security",
"Sandboxing for generated code execution", "recommended"),
ControlPoint("SEC-06", "Security",
"Monitoring and alerts on anomalies", "recommended"),
# Red teaming
ControlPoint("RED-01", "Red teaming",
"Security tests before every production release", "mandatory"),
ControlPoint("RED-02", "Red teaming",
"Regular red teaming (quarterly minimum)", "recommended"),
ControlPoint("RED-03", "Red teaming",
"Red team report with remediation tracking", "mandatory"),
# Compliance
ControlPoint("CONF-01", "Compliance",
"DPIA completed for AI processing activities", "mandatory"),
ControlPoint("CONF-02", "Compliance",
"Data subject rights implemented (access, erasure)", "mandatory"),
ControlPoint("CONF-03", "Compliance",
"Transparent user notice about AI usage", "mandatory"),
ControlPoint("CONF-04", "Compliance",
"Risk classification per the EU AI Act", "recommended"),
]
Revizija pomeni zahtevanje dokazov
Polje, ki pri izvajanju revizije spremeni vse, je evidence. Obkljukati „skladno” brez sklica na dokument za zunanjega revizorja ne pomeni nič; ta bo sistematično vprašal, kaj trditev podpira. Primer uporabe to kaže jasno: skladnost pri GOV-01 temelji na poimenovanem in datiranem dokumentu, ne na izjavi o nameri.
Tretji klic ponazarja najbolj poučen primer – neskladnost, povezana z načrtom odprave. Ključ API v okoljski datoteki ni škandal; gre za običajno prakso. Vendar točka kontrole ni izpolnjena in komentar začrta pot do skladnosti. Revizija, ki ne razkrije nobene neskladnosti, bi morala vzbuditi sum: običajno signalizira popustljiv seznam kontrol, ne popoln sistem.
Končna odločitev je binarna in brez uteži: ena sama obvezna neskladnost obrne sodbo. Stopnja skladnosti, izračunana ob tem, meri napredek med revizijami – nikoli ne pogaja o sami sodbi.
class AISecurityAudit:
"""Executes and documents an AI security audit."""
def __init__(self, system_name: str, auditor: str):
self.system_name = system_name
self.auditor = auditor
self.date = datetime.now().strftime("%Y-%m-%d")
self.checklist = create_audit_checklist()
def evaluate(self, point_id: str, compliant: bool, evidence: str, comment: str = ""):
"""Evaluates a control point."""
for point in self.checklist:
if point.id == point_id:
point.compliant = compliant
point.evidence = evidence
point.comment = comment
return
raise ValueError(f"Unknown control point: {point_id}")
def report(self) -> dict:
"""Generates the audit report."""
evaluated = [p for p in self.checklist if p.compliant is not None]
compliant = [p for p in evaluated if p.compliant]
non_compliant = [p for p in evaluated if not p.compliant]
not_evaluated = [p for p in self.checklist if p.compliant is None]
# Mandatory non-compliances are blockers
blockers = [
p for p in non_compliant if p.criticality == "mandatory"
]
return {
"system": self.system_name,
"auditor": self.auditor,
"date": self.date,
"total_controls": len(self.checklist),
"evaluated": len(evaluated),
"compliant": len(compliant),
"non_compliant": len(non_compliant),
"not_evaluated": len(not_evaluated),
"blockers": len(blockers),
"compliance_rate": f"{len(compliant) / max(len(evaluated), 1) * 100:.0f}%",
"decision": "NON-COMPLIANT" if blockers else "COMPLIANT",
"blocking_non_compliances": [
{"id": p.id, "description": p.description, "comment": p.comment}
for p in blockers
],
}
# Usage example
audit = AISecurityAudit("Customer Support Chatbot v2.3", "security_analyst")
audit.evaluate("GOV-01", True, "Document POL-SEC-AI-2026 approved on 2026-01-15")
audit.evaluate("SEC-01", True, "Multi-layer guardrails implemented (see architecture)")
audit.evaluate("SEC-04", False, "OpenAI API key in .env environment variable",
"Migrate to a vault (HashiCorp Vault or AWS Secrets Manager)")
result = audit.report()
print(f"Decision: {result['decision']}")
print(f"Compliance rate: {result['compliance_rate']}")
Števec neocenjenih točk igra tiho, a odločilno vlogo. Preprečuje zamenjavo med „skladno” in „ni preverjeno”, zmedo, ki se prikrade, ko se revizija raztegne čez tedne in se nihče ne spomni, kje se je ustavila.
Avtomatiziraj, kar lahko
Letna revizija zajame le posnetek stanja. Med posnetki se lahko ključ API trdo vkodira, omejitev hitrosti onemogoči za odpravo težave nestrpni stranki ali moderacija obide za hiter test. Avtomatizirani pregledi zapolnijo to vrzel z izvajanjem ob vsakem ciklu neprekinjene integracije.
Ni vse primerno za avtomatizacijo in to moraš jasno povedati. Iskanje trdo vkodiranih ključev je mogoče mehanizirati, saj pregleduje kodo. Druga dva preverjanja v primeru vrneta trdo vkodirani vrednosti, kar ima smisel le kot izhodišče: v proizvodnem okolju morajo dejansko preizkusiti storitev – poklicati API enaindvajsetkrat, da se potrdi pojav kode 429, ali predložiti testno vsebino moderaciji, da se potrdi njen odziv. Preverjanje, ki vedno vrne „true”, je slabše od nobenega preverjanja, saj ustvarja lažno zaupanje, ne da bi karkoli merilo.
class ContinuousAudit:
"""Automatically verifies security controls on an ongoing basis."""
def __init__(self):
self.checks = {}
def add_check(self, name: str, check_function):
"""Adds an automated check."""
self.checks[name] = check_function
def run(self) -> dict:
"""Runs all checks."""
results = {}
for name, check in self.checks.items():
try:
ok, detail = check()
results[name] = {"status": "PASS" if ok else "FAIL", "detail": detail}
except Exception as e:
results[name] = {"status": "ERROR", "detail": str(e)}
return results
# Automated checks
continuous_audit = ContinuousAudit()
def check_api_keys():
"""Verifies that no API keys are hardcoded in the codebase."""
import subprocess
result = subprocess.run(
["grep", "-r", "sk-", "src/", "--include=*.py", "-l"],
capture_output=True, text=True,
)
files = result.stdout.strip().split("\n") if result.stdout.strip() else []
return len(files) == 0, f"{len(files)} file(s) with hardcoded key"
def check_rate_limiting():
"""Verifies that rate limiting is active."""
return True, "Rate limiting active (429 after 20 req/min)"
def check_moderation():
"""Verifies that moderation is active on the pipeline."""
return True, "Moderation API called on inputs and outputs"
continuous_audit.add_check("api_keys_secured", check_api_keys)
continuous_audit.add_check("rate_limiting_active", check_rate_limiting)
continuous_audit.add_check("moderation_active", check_moderation)
Kaj pričakuje certifikator
Cilj na certifikat, kot sta ISO 42001 ali SOC 2, premakne težišče dela in to moraš vedeti, preden se zavežeš. Na prvem mestu je dokumentacija: posodobljene politike, postopki in registri – delo, ki ga inženirske ekipe najlažje preložijo. Sledijo dokazi – dnevniki, poročila o testih, posnetki zaslona – ki jih je veliko lažje zbrati, če jih arhiviraš sproti, namesto tri tedne pred revizijo. Zgodovina je najtežja zahteva, ki jo je treba nadoknaditi: SOC 2 Type II preučuje, kako so kontrolniki delovali več mesecev, česar noben zadnji trenutek ne more ponarediti. Nato sledi usposabljanje in dokazati moraš, da je potekalo, kar pomeni datirane sezname udeležencev in gradiva. Nazadnje neprekinjeno izboljševanje zahteva pokazati, da so ugotovitve odpravljene in ponovno testirane – točno zanka ponovnega preverjanja iz prejšnjega poglavja, katere vrednost zdaj vidiš: proizvaja dokaze, ki jih bo certifikator zahteval.
Cikel revizija, odprava, ponovni test, certifikacija nima konca. Vsaka nova funkcija ponovno odpre kontrolne točke in prav to je pomen besede „neprekinjeno” v „neprekinjenem izboljševanju”.
Ključne ugotovitve
- Revizija spremeni najboljše varnostne prakse v preverljive dokaze
- Seznam kontrol zajema upravljanje, podatke, tehnično varnost, red teaming in skladnost
- Obvezne neskladnosti so blokade – odpraviti jih je treba pred uvedbo
- Neprekinjena revizija avtomatizira ponavljajoče se preglede (ključi API, omejevanje hitrosti, moderacija)
- Certificiranje (ISO 42001, SOC 2) zahteva dokumentacijo, dokaze in zgodovino: cikel revizija, odprava, ponovni test je neprekinjen, nikoli enkraten
Preveri svoje znanje
Ofenzivna in defenzivna varnost: zadnji nadzor pred revizijo.
1. Kaj je napad z vbrizgavanjem pozivov (prompt injection)?
Odgovor: Zlonamerne instrukcije, vtihotapljene v podatke, ki jih model obdeluje (spletna stran, dokument, sporočilo), da bi prevzele nadzor nad njegovim delovanjem – obramba: izoliraj instrukcije od podatkov, validiraj izhode, omeji izpostavljene zmožnosti.
2. Jailbreaking proti vbrizgavanju pozivov: kakšna je razlika?
Odgovor: Jailbreaking poskuša model prisiliti, da obide svoja pravila z neposrednim pogovorom; vbrizgavanje deluje preko vsebine tretjih oseb, ki jo model obdeluje. Oboje se testira – in preprečuje – na različne načine.
3. Zakaj večplastno filtriranje?
Odgovor: Ker nobena plast ni popolna: moderacija vhodov, aplikacijska zaščitna ograja, kontrole izhodov in omejevanje hitrosti se medsebojno dopolnjujejo – obramba v globini, uporabljena za UI.
4. Kaj vključuje kampanja red teaminga za UI?
Odgovor: Sistematično napadanje lastnega sistema (scenariji vbrizgavanja, jailbreaki, izliv podatkov) s taksonomijo tveganj, dokumentiranje kršitev, določanje prioritet za odpravo – nato ponovno testiranje.
5. Kaj zajema vidik GDPR pri uvedbi OpenAI?
Odgovor: Pravna podlaga za obdelavo, minimizacija podatkov za poslane podatke, pravice posameznikov in pogodbena zaščita – skladnost je zasnovana z arhitekturo, ne naknadno.
Varen sistem UI je dokazan: taksonomija, ofenzivni testi, večplastne obrambe, revizija – cikel, ki si ga vadil v tem tečaju.