Съответствие и одитна следа
На тази страница
Съответствие и одитна следа
За AI приложения в продукционна среда проследимостта е от съществено значение. Пълната одитна следа Ви защитава по време на инспекция, спор или инцидент. Този урок Ви показва как да внедрите надеждна одитна система, завършвайки курса чрез обединяване на всичко, което сте изградили досега – регистриране, модериране и защита на данните – в единна, защитима рамка.
Защо е необходима одитна следа?
Четири различни нужди се събират в една и съща инфраструктура. Първо, регулаторно съответствие: GDPR, Европейският акт за изкуствения интелект и отрасловите стандарти изискват да демонстрирате какво прави Вашата система, а демонстрация без логове е безполезна. Второ, проследимост в строгия смисъл – да знаете кой какво е направил, кога и с какъв резултат, дори шест месеца по-късно. Отстраняването на грешки се възползва ежедневно от това, тъй като разбирането на неочаквано поведение на модела изисква възстановяване на точните условия на заявката. Накрая, отговорност: документирането на решения, взети от AI, е това, което ще Ви позволи, когато дойде моментът, да покажете, че оспорвана препоръка се основава на контролиран процес.
Структура на одитния запис
Класът dataclass по-долу е толкова договор, колкото и структура от данни. Той групира идентификатори, контекст на приложението, заявката, отговора, присъдата за модериране и технически метаданни. Два избора заслужават вниманието Ви. Идентификаторът на потребителя се появява само в хеширан вид, никога в чист текст. А промптът не се съхранява: запазват се само неговият хеш и дължина. Това запазва способността Ви да докажете, че две заявки са се отнасяли до едно и също съдържание, без никога да създавате архив на това, което потребителите Ви са написали.
from dataclasses import dataclass, field, asdict
from datetime import datetime
from typing import Optional
import json
import uuid
import hashlib
@dataclass
class AuditRecord:
"""Audit record for an API call."""
# Identifiers
audit_id: str = field(default_factory=lambda: str(uuid.uuid4()))
timestamp: str = field(
default_factory=lambda: datetime.now().isoformat()
)
# Context
user_id_hash: str = "" # Never the plain ID
session_id: str = ""
application: str = ""
# Request (no sensitive data)
model: str = ""
prompt_hash: str = "" # Hash of the prompt, not the prompt itself
prompt_length: int = 0
# Response
response_id: str = ""
output_length: int = 0
input_tokens: int = 0
output_tokens: int = 0
# Moderation
input_flagged: bool = False
output_flagged: bool = False
# Metadata
duration_ms: int = 0
status: str = "success"
error: Optional[str] = None
def to_json(self) -> str:
return json.dumps(asdict(self), ensure_ascii=False)
Пълна одитна система
Клиентът, който използва тази структура, свързва входното модериране, API повика, изходното модериране и записва във всеки случай. Важната дума е само добавяне (append-only): JSONL файлът се отваря в режим на добавяне, никога не се презаписва, което е условието един лог да има доказателствена стойност. Обърнете внимание на пътя на маркиран запис – записът се запазва преди да бъде повдигнато изключението, със статус blocked_input. Следователно блокирането оставя следа точно като успеха, а крайният блок except гарантира, че никоя грешка, каквато и да е тя, не остава незабелязана.
import time
from openai import OpenAI
class AuditedClient:
"""OpenAI client with integrated audit trail."""
def __init__(self, application: str, audit_store: str = "audit.jsonl"):
self.client = OpenAI()
self.application = application
self.audit_store = audit_store
def _hash(self, text: str) -> str:
"""Truncated SHA-256 hash for auditing."""
return hashlib.sha256(text.encode()).hexdigest()[:16]
def _save_audit(self, record: AuditRecord):
"""Saves an audit record (append-only)."""
with open(self.audit_store, "a", encoding="utf-8") as f:
f.write(record.to_json() + "\n")
def create(self, user_id: str, session_id: str,
model: str, input: str, **kwargs) -> object:
"""API call with automatic auditing."""
record = AuditRecord(
user_id_hash=self._hash(user_id),
session_id=session_id,
application=self.application,
model=model,
prompt_hash=self._hash(input),
prompt_length=len(input),
)
start = time.monotonic()
try:
# Input moderation
mod = self.client.moderations.create(
model="omni-moderation-latest",
input=input
)
record.input_flagged = mod.results[0].flagged
if record.input_flagged:
record.status = "blocked_input"
self._save_audit(record)
raise ValueError("Inappropriate input content")
# API call
response = self.client.responses.create(
model=model,
input=input,
**kwargs
)
# Output moderation
mod_out = self.client.moderations.create(
model="omni-moderation-latest",
input=response.output_text
)
record.output_flagged = mod_out.results[0].flagged
# Fill metrics
record.response_id = response.id
record.output_length = len(response.output_text)
record.input_tokens = response.usage.input_tokens
record.output_tokens = response.usage.output_tokens
record.duration_ms = round((time.monotonic() - start) * 1000)
record.status = "success"
self._save_audit(record)
return response
except Exception as e:
record.duration_ms = round((time.monotonic() - start) * 1000)
record.status = "error"
record.error = type(e).__name__
self._save_audit(record)
raise
# Usage
audited = AuditedClient(application="support-chatbot")
response = audited.create(
user_id="[email protected]",
session_id="sess-abc123",
model="gpt-5.6-terra",
input="How do I return a product?"
)
print(response.output_text)
В този пример имейл адресът, предаден като user_id, никога не достига до файла: той се хешира веднага щом записът бъде конструиран. JSONL файлът работи добре за начало и за единичен екземпляр; щом множество процеси пишат паралелно, насочете този поток към база данни или колектор за логове.
Заявки за одит
Лог, който не можете да заявявате, служи само за заемане на дисково пространство. Четене ред по ред на JSONL формата прави експлоатацията тривиална, а докладът по-долу обобщава обхванатия период, разпределението между успехи, грешки и блокирания, консумацията на токени и средната латентност. Броят на уникалните потребители разчита на хешове, което доказва между другото, че псевдонимизиран лог остава напълно анализируем.
import json
def read_audit(file: str = "audit.jsonl") -> list[dict]:
"""Reads all audit records."""
records = []
try:
with open(file, "r", encoding="utf-8") as f:
for line in f:
if line.strip():
records.append(json.loads(line))
except FileNotFoundError:
pass
return records
def audit_report(file: str = "audit.jsonl") -> dict:
"""Generates an audit report."""
records = read_audit(file)
if not records:
return {"message": "No records"}
total = len(records)
errors = sum(1 for r in records if r["status"] == "error")
blocked = sum(1 for r in records if r["status"] == "blocked_input")
tokens_total = sum(
r.get("input_tokens", 0) + r.get("output_tokens", 0)
for r in records
)
durations = [r["duration_ms"] for r in records if r["duration_ms"] > 0]
return {
"period": {
"start": records[0]["timestamp"],
"end": records[-1]["timestamp"],
},
"total_calls": total,
"successes": total - errors - blocked,
"errors": errors,
"moderation_blocks": blocked,
"tokens_consumed": tokens_total,
"avg_latency_ms": round(sum(durations) / max(len(durations), 1)),
"unique_users": len(set(r["user_id_hash"] for r in records)),
}
print(json.dumps(audit_report(), indent=2, ensure_ascii=False))
Запазване и архивиране
Безсрочното съхранение на данни противоречи на принципа за ограничаване на съхранението; твърде ранното изтриване Ви лишава от доказателствата, от които може да се нуждаете. Ротацията решава тази дилема: след продължителност, която Вие определяте – тук деветдесет дни – записите напускат активния файл за датиран архив, докато текущият лог се презаписва само с последните. Планирайте тази функция като периодична задача и подравнете retention_days с политиката, валидирана от Вашия юридически съветник, а не със стойност, избрана на случаен принцип.
from datetime import datetime, timedelta
import shutil
import os
def archive_audit(file: str = "audit.jsonl",
retention_days: int = 90):
"""Archives and purges old records."""
records = read_audit(file)
limit = datetime.now() - timedelta(days=retention_days)
recent = []
archives = []
for record in records:
date_record = datetime.fromisoformat(record["timestamp"])
if date_record > limit:
recent.append(record)
else:
archives.append(record)
if archives:
# Archive old ones
archive_name = f"audit_archive_{datetime.now().strftime('%Y%m%d')}.jsonl"
with open(archive_name, "w", encoding="utf-8") as f:
for record in archives:
f.write(json.dumps(record, ensure_ascii=False) + "\n")
# Rewrite main file with recent ones
with open(file, "w", encoding="utf-8") as f:
for record in recent:
f.write(json.dumps(record, ensure_ascii=False) + "\n")
print(f"Archived {len(archives)} records to {archive_name}")
print(f"Kept {len(recent)} recent records")
Европейски акт за изкуствения интелект: Какво се променя
Европейският акт за изкуствения интелект (AI Act) налага задължения въз основа на нивото на риск на Вашето приложение. Логиката е градуирана: колкото повече Вашата система тежи върху живота на хората, толкова по-строги са изискванията. Чатбот за често задавани въпроси, обобщение или превод попадат под минимален риск и изискват само основна прозрачност. Щом има разговор или анализ на настроенията, преминавате към ограничен риск, със задължението да информирате потребителя, че взаимодейства с AI. Скокът е рязък за висок риск – кредитно оценяване, набиране на персонал, медицинска диагностика – където се добавят оценка на съответствието, управление на риска, документиране на обучаващите данни, пълна проследимост, човешки надзор и демонстрация на точност. Някои употреби, като социално оценяване или подсъзнателна манипулация, са чисто и просто забранени.
# Assess the risk level of your application
RISK_LEVELS = {
"minimal": {
"examples": ["FAQ chatbot", "text summary", "translation"],
"obligations": ["Basic transparency"]
},
"limited": {
"examples": ["customer service chatbot", "sentiment analysis"],
"obligations": ["Inform the user they are interacting with an AI"]
},
"high": {
"examples": ["credit scoring", "recruitment", "medical diagnosis"],
"obligations": [
"Conformity assessment",
"Risk management system",
"Documented training data",
"Logging and complete traceability",
"Mandatory human supervision",
"Demonstrated accuracy and robustness"
]
},
"unacceptable": {
"examples": ["social scoring", "subliminal manipulation"],
"obligations": ["PROHIBITED"]
}
}
Честно позиционирайте своя проект в тази мрежа, преди да напишете първия ред код: приложение, класифицирано като високорисково, налага архитектурни ограничения – изчерпателно регистриране, точка за човешки контрол – които не могат да бъдат добавени постфактум към система, проектирана без тях.
Контролен списък за съответствие
- Одитна следа само с добавяне (append-only) с времеви печат
- Хеширане на лични данни в логовете (никога в чист текст)
- Систематично модериране на входове и изходи
- Актуален регистър на дейностите по обработка съгласно GDPR
- Дефинирана политика за запазване и архивиране
- Извършена оценка на нивото на риск съгласно AI Act
- Информиране на потребителите, че взаимодействат с AI
- Човешки надзор за решения с въздействие
Ключови изводи
- Одитната следа е задължителна за регулаторно съответствие
- Регистрирайте в режим само за добавяне: никога не модифицирайте съществуващи записи
- Хеширайте всички лични данни в одитните логове
- Европейският акт за изкуствения интелект класифицира приложенията по ниво на риск
- Внедрете автоматично модериране И човешки надзор
- Дефинирайте политика за запазване и архивирайте редовно
Проверете знанията си
Двадесет и два урока за API: валидирайте механизмите, които държат продукционната среда заедно.
1. Защо да мигрирате към Responses API, вместо да останете на Chat Completions?
Отговор: Това е модерният API на OpenAI: интегрирано управление на състоянието на разговора, нативни инструменти и еволюция, фокусирана върху него – Chat Completions остава поддържан, но е остарял.
2. Как избирате между Sol, Terra и Luna от страна на API?
Отговор: gpt-5.6-sol за взискателни задачи, terra за баланс между цена и качество, luna за икономически обеми – а нивото на разсъждение (none→max) след това се коригира за всяка заявка.
3. Какво гарантира Structured Output?
Отговор: Изход, съответстващ на предоставената JSON схема – полета, типове, структура – експлоатируем от програма без защитен парсинг или поправка.
4. Какво правите пред лицето на грешка 429?
Отговор: Спазвайте лимитите на честотата: повторете опита с експоненциално отстъпване (и джитър), ограничете опитите и планирайте прекъсвач на веригата – никога цикъл за незабавен повторен опит.
5. Назовете две незаменими защити от страна на сигурността на приложението.
Отговор: Модериране на входящо/изходящо съдържание чрез специализирания API и защита срещу инжектиране на промптове: изолирайте инструкциите от данните, валидирайте изходите, ограничете изложените възможности.
Продукция, сигурност, съответствие: последните три блока на курса правят разликата между прототип и услуга – запазете ги като контролен списък.