Съответствие с GDPR и защита на данните
На тази страница
Обновено на 3 ноември 2026 г. Списъкът с елементи, откривани от категорията
pii, вече съответства на дефиницията на Mistral (данните за здравето попадат под различни правила, а категориятаhealthе насочена към заявки за медицински съвети). Предишният съвместим регистратор неправилно изчисляваше крайната дата на съхранение, което водеше до изтриване на всичко при почистване; освен това използваше твърдо кодиран ключ по подразбиране за псевдонимизация и остарялата функцияdatetime.utcnow(). Псевдонимизацията вече използва HMAC-SHA-256 със задължителен ключ. Източници: Moderation & Guardrailing · GDPR, Recital 26 and Articles 4 and 22 · Python hmac.
Изкуствен интелект и лични данни: Строга рамка
В сърцето на този урок има един парадокс и неговото ясно разбиране избягва много грешки в проектирането: Вашата система за модериране сама по себе си представлява операция по обработка на лични данни. За да защитите потребителите си, Вие анализирате техния текст, генерирате оценки и съхранявате логове – всички тези операции се регулират от GDPR точно както всяка друга дейност по обработка.
Следователно съответствието не означава добавяне на защитен слой върху модерирането. То означава проектиране на самата система за модериране така, че да обработва минимално количество данни, за възможно най-кратко време, като същевременно поддържа запис на своите решения. Това е нишката, която преминава през следващите раздели.
GDPR (Общият регламент за защита на данните) се прилага изцяло към приложенията за изкуствен интелект, обработващи данни на европейски жители. Самото модериране на съдържание генерира данни, които попадат в обхвата на GDPR. Трябва да разберете своите задължения, за да избегнете санкции, достигащи до 4% от глобалния годишен оборот.
Категорията PII в модерирането на Mistral
Класификаторът pii на Mistral открива заявки за или разкриване на лична информация. Трябва веднага да се направи една архитектурна забележка: този класификатор е предпазна мрежа, а не гаранция. Той улавя разнообразни формулировки, които регулярните изрази биха пропуснали („моят номер е…“), но като всеки модел, той има и фалшиво отрицателни резултати. Обратно, регулярният израз надеждно улавя структурирани формати – IBAN, социалноосигурителни номера, кредитни карти – но нищо друго. Най-добрата практика комбинира и двете: регулярен израз за известни формати и класификатор за останалото. Откритите типове включват:
- Пълни имена
- Адреси
- Телефонни номера
- Социалноосигурителни номера
- Детайли за финансови сметки
Дефиницията на Mistral се фокусира върху заявката, споделянето или опита за получаване на тази идентифицираща информация.
from mistralai.client import Mistral
import os
import re
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def detect_pii(text: str) -> dict:
"""Detects personal data in text."""
# Layer 1: Mistral Classifier
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
pii_score = (response.results[0].category_scores or {}).get("pii", 0)
# Layer 2: Regex for common patterns
pii_patterns = {
"email": r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}",
"telephone_fr": r"(?:0|\+33)[1-9](?:\d{2}){4}",
"secu_sociale": r"\d{13,15}",
"carte_bancaire": r"\d{4}[\s-]?\d{4}[\s-]?\d{4}[\s-]?\d{4}",
"iban": r"FR\d{2}\s?\d{4}\s?\d{4}\s?\d{4}\s?\d{4}\s?\d{3}"
}
detected_pii = {}
for name, pattern in pii_patterns.items():
matches = re.findall(pattern, text)
if matches:
detected_pii[name] = len(matches)
return {
"score_classifieur": round(pii_score, 3),
"pii_regex": detected_pii,
"contient_pii": pii_score > 0.2 or len(detected_pii) > 0
}
Анонимизация преди обработка
Предварителната анонимизация е най-рентабилната мярка в целия този урок, защото променя същността на проблема: данни, които никога не напускат Вашата инфраструктура, не повдигат въпроси за трансфер. Замяната на имена, имейли и номера с токени ([PERSON_1], [EMAIL_1]) преди извикване на модела почти винаги запазва смисъла за анализ – и ако пазите таблицата за съпоставка локално, можете да върнете реалните стойности в отговора. Докато тази таблица съществува, това юридически е псевдонимизация, а не анонимизация: данните остават лични, но данните, изпратени до модела, вече не позволяват идентифициране на лицето самостоятелно.
def anonymize_text(text: str) -> tuple:
"""Anonymizes text and keeps a restoration mapping."""
mapping = {}
anonymized_text = text
# Anonymize emails
emails = re.findall(
r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}",
text
)
for i, email in enumerate(set(emails)):
placeholder = f"[EMAIL_{i+1}]"
mapping[placeholder] = email
anonymized_text = anonymized_text.replace(email, placeholder)
# Anonymize phones
phones = re.findall(
r"(?:0|\+33)[1-9](?:[\s.-]?\d{2}){4}",
text
)
for i, tel in enumerate(set(phones)):
placeholder = f"[TEL_{i+1}]"
mapping[placeholder] = tel
anonymized_text = anonymized_text.replace(tel, placeholder)
# Anonymize names (if detected by upstream NER)
# Add your own NER logic here
return anonymized_text, mapping
def restore_text(anonymized_text: str, mapping: dict) -> str:
"""Restores anonymized data after processing."""
restored_text = anonymized_text
for placeholder, value in mapping.items():
restored_text = restored_text.replace(placeholder, value)
return restored_text
# Usage in pipeline
original_text = "Contactez [email protected] au 06 12 34 56 78"
anonymized_text, mapping = anonymize_text(original_text)
# → "Contactez [EMAIL_1] au [TEL_1]"
# Send anonymized text to model
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": anonymized_text}]
)
Логове за модериране в съответствие с GDPR
Логовете са класическото слабо място: мислим за „лични данни“ по отношение на потребителските съобщения, но рядко по отношение на техническите следи, които ги копират. Въпреки това лог за модериране, съхраняващ анализирания текст, е лична база данни, с всички произтичащи от това задължения. Основното правило: записвайте текст само за блокирано съдържание – ще Ви е необходим в случай на спор – и записвайте само оценки за прието съдържание.
import hashlib
import hmac
from datetime import datetime, timedelta, timezone
class LogModerationRGPD:
"""GDPR-compliant moderation logger."""
def __init__(self, retention_jours: int = 90):
self.retention_jours = retention_jours
# Mandatory secret key, kept out of code (vault or environment variable)
self.key = os.environ["PII_HMAC_KEY"].encode()
def _pseudonymiser(self, user_id: str) -> str:
"""Pseudonymizes a user identifier (HMAC-SHA-256)."""
return hmac.new(self.key, user_id.encode(), hashlib.sha256).hexdigest()[:16]
def log_moderation(self, user_id: str, scores: dict, decision: str,
text: str | None = None) -> dict:
"""Records a moderation decision."""
maintenant = datetime.now(timezone.utc)
entry = {
"timestamp": maintenant.isoformat(),
"user_hash": self._pseudonymiser(user_id),
"scores": scores,
"decision": decision,
# Do NOT store full text by default
"texte_longueur": len(text) if text else 0,
"conserver_jusqu_au": (maintenant + timedelta(days=self.retention_jours)).isoformat(),
}
# Store text excerpt only if blocked (for audit)
if decision == "blocked" and text:
entry["texte_tronque"] = text[:200]
return entry
def purger_anciens_logs(self, logs: list[dict]) -> list[dict]:
"""Keeps logs whose retention end date has not passed."""
maintenant = datetime.now(timezone.utc)
return [
log for log in logs
if datetime.fromisoformat(log["conserver_jusqu_au"]) > maintenant
]
Две предпазни мерки в този код заслужават споменаване. Ключът за псевдонимизация няма стойност по подразбиране: ключ, написан в кода и известен на всички, би позволил преизчисляване на хеша на всеки идентификатор. Освен това псевдонимизираните данни остават лични данни съгласно GDPR (Съображение 26): този лог остава обект на срокове за съхранение и права на субектите на данни.
Одитна следа за съответствие
Одитната следа отговаря на конкретен въпрос, който потребител или орган може да Ви зададе: „Защо това съдържание беше блокирано?“. Без следа единственият Ви честен отговор е „Вече не знам“ – което е неприемливо, като се има предвид, че GDPR изисква за напълно автоматизирани решения съгласно Член 22 информиране на лицето за основната логика (Членове 13 до 15), а Законът за изкуствения интелект добавя свои собствени задължения за прозрачност. Одитната следа запазва решението, оценките, които са го мотивирали, и версията на приложената политика – без непременно да запазва самия текст.
class AuditTrail:
"""Audit trail for moderation decisions."""
def __init__(self, storage_path: str):
self.storage_path = storage_path
def record_decision(self, data: dict) -> str:
"""Records a decision with a unique identifier."""
import uuid
audit_id = str(uuid.uuid4())
entry = {
"audit_id": audit_id,
"timestamp": datetime.now(timezone.utc).isoformat(),
"type_decision": data.get("decision"),
"modele_moderation": "mistral-moderation-2603",
"scores": data.get("scores"),
"seuils_appliques": data.get("seuils"),
"politique_version": data.get("politique_version"),
"action_prise": data.get("action"),
"base_legale": "interet_legitime",
"responsable": "systeme_automatise"
}
# Write to audit file
import json
with open(self.storage_path, "a") as f:
f.write(json.dumps(entry, ensure_ascii=False) + "\n")
return audit_id
Контролен списък за GDPR за Вашето AI приложение
Ето точките, които трябва да проверите, за да се уверите, че Вашата система за модериране е в съответствие:
Правно основание
- Документиран законен интерес за модериране на съдържанието
- Известяване на потребителя за автоматизирана обработка
- Възможност за оспорване на автоматизирано решение
Минимизиране на данните
- Съхранявайте само строго необходимите данни
- Анонимизирайте или псевдонимизирайте потребителските идентификатори
- Съкращавайте текста в логовете за модериране
- Не запазвайте приети текстове (само оценки)
Срок на съхранение
- Дефинирайте срок на съхранение за всеки тип данни
- Логове за модериране: максимум 90 дни (освен ако законово задължение не изисква друго)
- Одитна следа: според секторното регулиране
- Планирано автоматично почистване
Права на потребителите
- Право на достъп до решенията за модериране, засягащи ги
- Право на поправка, ако решението се оспорва
- Право на обяснение на автоматизираното решение
Ключови изводи
- GDPR се прилага изцяло към Вашите системи за AI модериране
- Използвайте категорията
piiна Mistral И регулярни изрази за откриване на лични данни - Анонимизирайте текстовете, преди да ги изпратите до модела, когато е възможно
- Псевдонимизирайте потребителските идентификатори в логовете
- Внедрете одитна следа за проследимост на решенията
- Дефинирайте срок на съхранение и автоматично почиствайте логовете