Lähe põhisisu juurde
Eesti— Vali keel
Menüü

Turvaaudit ja sertifitseerimine

Õppetund 14 / 14 Värskendatud 28. juuli 2026 Edasijõudnutele
Sellel lehel
  1. Ad hoc turvast sertifitseeritava vastavuseni
  2. Tea, milline raamistik kehtib
  3. Kontrollnimekiri, mis hõlmab viit valdkonda
  4. Audit tähendab tõendite nõudmist
  5. Automatiseeri, mida saad
  6. Mida sertifitseerija ootab
  7. Peamised punktid
  8. Testi oma teadmisi

Ad hoc turvast sertifitseeritava vastavuseni

Eelmistes tundides said tehnilised tööriistad tehisintellektisüsteemi turvamiseks. Ühekordsetest turvakontrollidest aga ei piisa – ja põhjus pole pelgalt bürokraatia. Mida kontrollid üks kord, lakkab olemast kontrollitud niipea, kui avaldad järgmise versiooni, ja miski ei too seda lünka esile. Kliendid, reguleerijad ja partnerid nõuavad formaalset tõendusmaterjali: tõendit, et sinu kontrollmeetmed eksisteerivad, toimivad ja püsivad ajas. Audit ja sertifitseerimine muudavad sinu tavad kontrollitavaks ja pidevaks raamistikuks.

Tea, milline raamistik kehtib

Tehisintellekti valdkonnas lõikuvad viis raamistikku, igaühel oma ulatus. Erista neid enne, kui millegagi seostud.

Standard Ulatus Asjakohasus tehisintellekti jaoks
ISO 27001 Infoturbe Alus igale andmeid töötlevale süsteemile
ISO 42001 Tehisintellekti juhtimine Spetsiifiline tehisintellektile: juhtimine, riskid, elutsükkel
AI Act (EL) Euroopa määrus Kohustuslik kõrge riskiga süsteemidele ELis
SOC 2 Type II SaaS-i turbe kontrollmeetmed Nõutud ettevõtete klientide poolt
OWASP LLM Top 10 LLM-i turbe parimad tavad Viitekontrollnimekiri tehniliseks auditiks

Otsustav erinevus seisneb selles, mis on kohustuslik ja mis vabatahtlik. ELi tehisintellekti määrus on regulatsioon: kui sinu süsteem kuulub kõrge riski kategooriasse, pole sul võimalust loobuda. ISO standardid ja SOC 2 on vabatahtlikud sertifikaadid, mida nõuavad tavaliselt ettevõtete kliendid, mitte reguleerijad. OWASP LLM Top 10 ei ole sertifitseeritav – see on tehniline viitematerjal ja parim lähtepunkt esimeseks sisemiseks auditiks, kuna see maksab vaid aega.

Kontrollnimekiri, mis hõlmab viit valdkonda

Tõsine audit läheb kaugemale tehnikast. Allpool toodud kontrollnimekiri jaotab kontrollpunktid viie valdkonna vahel ja see jaotus räägib oma lugu: juhtimine ja vastavus kaaluvad sama palju kui turve, sest veatu tehniline seadistus, mida keegi ei omista ja mida ei dokumenteerita, kukub läbi igal välisauditi.

Kriitilisus eristab kohustuslikku soovitatavast – eristus, mis hiljem määrab binaarse otsuse. Liivakast (sandboxing) on märgitud soovitatavaks, mitte kohustuslikuks, ja see järjestus on põhjendatud: see kehtib ainult süsteemidele, mis käivitavad genereeritud koodi, samas kui sisendi ja väljundi filtreerimine puudutab eranditult iga rakendust. Hästi kalibreeritud kontrollnimekiri ei nõua FAQ-vestlusrobotilt konteinerite isolatsiooni põhjendamist.

from dataclasses import dataclass, field
from datetime import datetime

@dataclass
class ControlPoint:
    id: str
    category: str
    description: str
    criticality: str  # mandatory, recommended, optional
    compliant: bool | None = None
    evidence: str = ""
    comment: str = ""

def create_audit_checklist() -> list[ControlPoint]:
    """Creates a comprehensive AI security audit checklist."""
    return [
        # Governance
        ControlPoint("GOV-01", "Governance",
            "Documented and approved AI security policy", "mandatory"),
        ControlPoint("GOV-02", "Governance",
            "Designated AI security owner (CISO/DPO)", "mandatory"),
        ControlPoint("GOV-03", "Governance",
            "Up-to-date register of AI processing activities", "mandatory"),

        # Data
        ControlPoint("DAT-01", "Data",
            "Inventory of data sent to LLM APIs", "mandatory"),
        ControlPoint("DAT-02", "Data",
            "Anonymization/pseudonymization of personal data", "mandatory"),
        ControlPoint("DAT-03", "Data",
            "DPA signed with each AI API provider", "mandatory"),
        ControlPoint("DAT-04", "Data",
            "Defined conversation retention policy", "mandatory"),

        # Technical security
        ControlPoint("SEC-01", "Security",
            "Prompt injection: defense-in-depth implemented", "mandatory"),
        ControlPoint("SEC-02", "Security",
            "Content filtering (inputs and outputs)", "mandatory"),
        ControlPoint("SEC-03", "Security",
            "Rate limiting and abuse detection", "mandatory"),
        ControlPoint("SEC-04", "Security",
            "API keys stored in a vault (not hardcoded)", "mandatory"),
        ControlPoint("SEC-05", "Security",
            "Sandboxing for generated code execution", "recommended"),
        ControlPoint("SEC-06", "Security",
            "Monitoring and alerts on anomalies", "recommended"),

        # Red teaming
        ControlPoint("RED-01", "Red teaming",
            "Security tests before every production release", "mandatory"),
        ControlPoint("RED-02", "Red teaming",
            "Regular red teaming (quarterly minimum)", "recommended"),
        ControlPoint("RED-03", "Red teaming",
            "Red team report with remediation tracking", "mandatory"),

        # Compliance
        ControlPoint("CONF-01", "Compliance",
            "DPIA completed for AI processing activities", "mandatory"),
        ControlPoint("CONF-02", "Compliance",
            "Data subject rights implemented (access, erasure)", "mandatory"),
        ControlPoint("CONF-03", "Compliance",
            "Transparent user notice about AI usage", "mandatory"),
        ControlPoint("CONF-04", "Compliance",
            "Risk classification per the EU AI Act", "recommended"),
    ]

Audit tähendab tõendite nõudmist

Väli, mis muudab auditi teostamisel kõike, on evidence. Märkida „vastav“ ilma dokumendiviiteta ei tähenda välisaudiitori jaoks midagi, kes süstemaatiliselt küsib, mis väidet toetab. Kasutusnäide näitab seda selgelt: GOV-01 vastavus põhineb nimetatud ja dateeritud dokumendil, mitte kavatsuste avaldusel.

Kolmas väljakutse illustreerib kõige õpetlikumat juhtumit – mittevastavus koos selle parandusplaaniga. API võti keskkonnafailis pole skandaal; see on levinud tava. Siiski ei läbi see kontrollpunkti ja kommentaar kirjeldab teed vastavuseni. Audit, mis ei too esile ühtegi mittevastavust, peaks tekitama kahtlust: see viitab tavaliselt leebemale kontrollnimekirjale, mitte täiuslikule süsteemile.

Lõplik otsus on binaarne ja kaalumata: üksainus kohustuslik mittevastavus pöörab otsuse ümber. Vastavusmäär, mis arvutatakse kõrvale, mõõdab edenemist auditite vahel – see ei läbiräägi kunagi otsust ennast.

class AISecurityAudit:
    """Executes and documents an AI security audit."""

    def __init__(self, system_name: str, auditor: str):
        self.system_name = system_name
        self.auditor = auditor
        self.date = datetime.now().strftime("%Y-%m-%d")
        self.checklist = create_audit_checklist()

    def evaluate(self, point_id: str, compliant: bool, evidence: str, comment: str = ""):
        """Evaluates a control point."""
        for point in self.checklist:
            if point.id == point_id:
                point.compliant = compliant
                point.evidence = evidence
                point.comment = comment
                return
        raise ValueError(f"Unknown control point: {point_id}")

    def report(self) -> dict:
        """Generates the audit report."""
        evaluated = [p for p in self.checklist if p.compliant is not None]
        compliant = [p for p in evaluated if p.compliant]
        non_compliant = [p for p in evaluated if not p.compliant]
        not_evaluated = [p for p in self.checklist if p.compliant is None]

        # Mandatory non-compliances are blockers
        blockers = [
            p for p in non_compliant if p.criticality == "mandatory"
        ]

        return {
            "system": self.system_name,
            "auditor": self.auditor,
            "date": self.date,
            "total_controls": len(self.checklist),
            "evaluated": len(evaluated),
            "compliant": len(compliant),
            "non_compliant": len(non_compliant),
            "not_evaluated": len(not_evaluated),
            "blockers": len(blockers),
            "compliance_rate": f"{len(compliant) / max(len(evaluated), 1) * 100:.0f}%",
            "decision": "NON-COMPLIANT" if blockers else "COMPLIANT",
            "blocking_non_compliances": [
                {"id": p.id, "description": p.description, "comment": p.comment}
                for p in blockers
            ],
        }

# Usage example
audit = AISecurityAudit("Customer Support Chatbot v2.3", "security_analyst")
audit.evaluate("GOV-01", True, "Document POL-SEC-AI-2026 approved on 2026-01-15")
audit.evaluate("SEC-01", True, "Multi-layer guardrails implemented (see architecture)")
audit.evaluate("SEC-04", False, "OpenAI API key in .env environment variable",
              "Migrate to a vault (HashiCorp Vault or AWS Secrets Manager)")

result = audit.report()
print(f"Decision: {result['decision']}")
print(f"Compliance rate: {result['compliance_rate']}")

Viimane loendur – hindamata punktide arv – mängib vaikset, kuid otsustavat rolli. See hoiab ära segaduse „vastava“ ja „kontrollimata“ vahel, mis hiilib sisse, kui audit venib nädalateks ja keegi ei mäleta, kus see pooleli jäi.

Automatiseeri, mida saad

Aastane audit jäädvustab hetktõmmise. Tõmmiste vahel võib API võti muutuda koodi sisse kirjutatuks, kiirusepiirang deaktiviseeritakse kiirustava kliendi blokeeringu eemaldamiseks või moderatsioonist mööda hiilitakse kiireks testiks. Automatiseeritud kontrollid täidavad seda lünka, käitudes igas pideva integratsiooni tsüklis.

Kõik ei sobi automatiseerimiseks ja seda tuleb otse öelda. Koodi sisse kirjutatud võtmete otsimine on mehhaniseeritav, kuna see kontrollib koodi. Näite toodud kaks muud kontrolli tagastavad fikseeritud väärtused, mis annab mõtet ainult lähtepunktina: tootmises peavad need tegelikult teenust kasutama – kutsu API-d kakskümmend üks kord, et kinnitada 429 veakoodi ilmumist, või esita testsisu moderatsioonile, et kinnitada selle reageerimist. Kontroll, mis tagastab alati tõese, on halvem kui kontrolli puudumine, sest see loob kindlustunnet ilma midagi mõõtmata.

class ContinuousAudit:
    """Automatically verifies security controls on an ongoing basis."""

    def __init__(self):
        self.checks = {}

    def add_check(self, name: str, check_function):
        """Adds an automated check."""
        self.checks[name] = check_function

    def run(self) -> dict:
        """Runs all checks."""
        results = {}
        for name, check in self.checks.items():
            try:
                ok, detail = check()
                results[name] = {"status": "PASS" if ok else "FAIL", "detail": detail}
            except Exception as e:
                results[name] = {"status": "ERROR", "detail": str(e)}
        return results

# Automated checks
continuous_audit = ContinuousAudit()

def check_api_keys():
    """Verifies that no API keys are hardcoded in the codebase."""
    import subprocess
    result = subprocess.run(
        ["grep", "-r", "sk-", "src/", "--include=*.py", "-l"],
        capture_output=True, text=True,
    )
    files = result.stdout.strip().split("\n") if result.stdout.strip() else []
    return len(files) == 0, f"{len(files)} file(s) with hardcoded key"

def check_rate_limiting():
    """Verifies that rate limiting is active."""
    return True, "Rate limiting active (429 after 20 req/min)"

def check_moderation():
    """Verifies that moderation is active on the pipeline."""
    return True, "Moderation API called on inputs and outputs"

continuous_audit.add_check("api_keys_secured", check_api_keys)
continuous_audit.add_check("rate_limiting_active", check_rate_limiting)
continuous_audit.add_check("moderation_active", check_moderation)

Mida sertifitseerija ootab

Sertifikaadi, nagu ISO 42001 või SOC 2, taotlemine nihutab pingutust ja seda peaksid teadma enne seostumist. Dokumentatsioon tuleb esimesena: ajakohastatud poliitikad, protseduurid ja registrid – töö, mida insenerimeeskonnad kõige kergemini edasi lükkavad. Seejärel tulevad tõendid – logid, testiaruanded, ekraanitõmmised – ja neid on palju lihtsam koguda, kui arhiveerid neid jooksvalt, mitte kolm nädalat enne auditit. Ajalugu on nõue, mida on kõige raskem järele jõuda: SOC 2 Type II uurib, kuidas kontrollmeetmed on toiminud mitme kuu jooksul, mida ükski viimase hetke pingutus ei suuda võltsida. Järgmisena tuleb koolitus ja pead tõendama, et see toimus, mis tähendab dateeritud osalejate nimekirju ja materjale. Lõpuks nõuab pidev parandamine näitamist, et leitakse vead, need parandatakse ja testitakse uuesti – täpselt eelmises peatükis olnud uuesti valideerimise tsükkel, mille väärtust sa nüüd näed: see toodab tõendid, mida sertifitseerija nõuab.

Tsükkel audit, paranda, testi uuesti, sertifitseeri ei lõpe kunagi. Iga uus funktsioon avab kontrollpunktid uuesti ja see ongi „pideva“ tähendus väljendis „pidev parandamine“.

Peamised punktid

  • Audit muudab turbe parimad tavad kontrollitavaks tõendiks
  • Kontrollnimekiri hõlmab juhtimist, andmeid, tehnilist turvet, punast meeskonda ja vastavust
  • Kohustuslikud mittevastavused on takistused – need tuleb enne kasutuselevõttu parandada
  • Pidev audit automatiseerib korduvaid kontrolle (API võtmed, kiirusepiirang, moderatsioon)
  • Sertifitseerimine (ISO 42001, SOC 2) nõuab dokumentatsiooni, tõendeid ja ajalugu: tsükkel audit, paranda, testi uuesti on pidev, mitte ühekordne

Testi oma teadmisi

Ründav ja kaitsav turve: viimane kontroll enne auditit.

1. Mis on sisendi süstimise rünnak?

Vastus: Pahatahtlikud juhised, mis on libistatud mudeli töödeldavatesse andmetesse (veebileht, dokument, sõnum), et selle käitumist kaaperdada – kaitse: eralda juhised andmetest, valideeri väljundeid, piira avaldatud võimalusi.

2. Vanglast vabastamine vs sisendi süstimine: mis on erinevus?

Vastus: Vanglast vabastamine püüab panna mudelit oma reegleid eirama otsese vestluse kaudu; süstimine toimib kolmanda osapoole sisu kaudu, mida see töötleb. Mõlemat testitakse – ja tõrjutakse – erinevalt.

3. Miks mitmekihiline filtreerimine?

Vastus: Sest ükski kiht pole täiuslik: sisendi moderatsioon, rakenduse kaitseraudtee, väljundi kontrollid ja kiirusepiirang täiendavad üksteist – tehisintellektile rakendatud sügavuskaitse.

4. Mida hõlmab tehisintellekti punase meeskonna kampaania?

Vastus: Oma süsteemi metoodiline ründamine (süstimise stsenaariumid, vanglast vabastamine, andmete lekkitamine) koos riskitaksonoomiaga, rikkumiste dokumenteerimine, paranduste prioriseerimine – ja seejärel uuesti testimine.

5. Mida hõlmab GDPR-i nurk OpenAI kasutuselevõtul?

Vastus: Töötlemise õiguslik alus, andmete minimeerimine saadetavate andmete jaoks, andmesubjekti õigused ja lepingulised kaitsemeetmed – vastavus projekteeritakse koos arhitektuuriga, mitte pärast seda.

Ohutu tehisintellektisüsteem on tõestatud: taksonoomia, ründetestid, kihilised kaitsemeetmed, audit – tsükkel, mida selles kursuses harjutasid.