Skladnost z GDPR in varstvo podatkov
Na tej strani
Posodobljeno 3. novembra 2026. Seznam elementov, ki jih zazna kategorija
pii, je zdaj usklajen z definicijo podjetja Mistral (zdravstveni podatki spadajo pod drugačna pravila, kategorijahealthpa cilja na zahteve za zdravstvene nasvete). Skladni zapisnik je prej napačno izračunal datum konca hrambe, kar je povzročilo, da so brisanja izbrisala vse; uporabljal je tudi trdo kodiran privzeti ključ za soljenje pri psevdonimizaciji in zastarelo funkcijodatetime.utcnow(). Psevdonimizacija zdaj uporablja HMAC-SHA-256 z obveznim ključem. Viri: Moderation & Guardrailing · GDPR, uvodna izjava 26 ter člena 4 in 22 · Python hmac.
Umetna inteligenca in osebni podatki: strog okvir
V srcu te lekcije se skriva paradoks, katerega jasno razumevanje preprečuje številne napake pri načrtovanju: tvoj sistem za moderiranje je sam po sebi operacija obdelave osebnih podatkov. Da bi zaščitil svoje uporabnike, analiziraš njihovo besedilo, ustvarjaš ocene in hraniš zapisnike – vse to so operacije, ki jih GDPR ureja popolnoma enako kot katero koli drugo dejavnost obdelave.
Skladnost zato ne pomeni dodajanja zaščitne plasti na vrh moderiranja. Pomeni načrtovanje samega sistema za moderiranje tako, da obdeluje najmanjšo možno količino podatkov, v najkrajšem možnem času, ob hkratnem vodenju evidenc o svojih odločitvah. To je rdeča nit naslednjih poglavij.
Splošna uredba o varstvu podatkov (GDPR) se v celoti uporablja za aplikacije umetne inteligence, ki obdelujejo podatke evropskih prebivalcev. Samo moderiranje vsebine ustvarja podatke, ki spadajo na področje uporabe GDPR-a. Razumeti moraš svoje obveznosti, da se izogneš kaznim, ki lahko dosežejo do 4 % letnega globalnega prometa.
Kategorija PII pri moderiranju Mistral
Klasifikator kategorije pii podjetja Mistral zaznava zahteve za razkritje osebnih informacij ali sama razkritja teh informacij. Takoj je treba poudariti eno arhitekturno točko: ta klasifikator je varnostna mreža, ne pa garancija. Zajame različne formulacije, ki bi jih regularni izrazi (regex) spregledali („moja številka je…”), vendar ima kot vsak model tudi lažno negativne rezultate. Po drugi strani regularni izrazi zanesljivo zajamejo strukturirane formate – IBAN, socialna zavarovanja, kreditne kartice – ničesar drugega pa ne. Najboljša praksa združuje oboje: regularne izraze za znane formate in klasifikator za vse ostalo. Zaznane vrste vključujejo:
- Polna imena
- Naslove
- Telefonske številke
- Številke socialnega zavarovanja
- Podrobnosti o finančnih računih
Definicija podjetja Mistral se osredotoča na zahtevo, deljenje ali poskus pridobitve teh identifikacijskih podatkov.
from mistralai.client import Mistral
import os
import re
client = Mistral(api_key=os.environ["MISTRAL_API_KEY"])
def detect_pii(text: str) -> dict:
"""Detects personal data in text."""
# Layer 1: Mistral Classifier
response = client.classifiers.moderate(
model="mistral-moderation-2603",
inputs=[text]
)
pii_score = (response.results[0].category_scores or {}).get("pii", 0)
# Layer 2: Regex for common patterns
pii_patterns = {
"email": r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}",
"telephone_fr": r"(?:0|\+33)[1-9](?:\d{2}){4}",
"secu_sociale": r"\d{13,15}",
"carte_bancaire": r"\d{4}[\s-]?\d{4}[\s-]?\d{4}[\s-]?\d{4}",
"iban": r"FR\d{2}\s?\d{4}\s?\d{4}\s?\d{4}\s?\d{4}\s?\d{3}"
}
detected_pii = {}
for name, pattern in pii_patterns.items():
matches = re.findall(pattern, text)
if matches:
detected_pii[name] = len(matches)
return {
"score_classifieur": round(pii_score, 3),
"pii_regex": detected_pii,
"contient_pii": pii_score > 0.2 or len(detected_pii) > 0
}
Anonimizacija pred obdelavo
Anonimizacija v zgodnji fazi je najstroškovneje učinkovitejši ukrep v tej lekciji, saj spremeni naravo problema: podatki, ki nikoli ne zapustijo tvoje infrastrukture, ne povzročajo težav s prenosi. Zamenjava imen, e-poštnih naslovov in številk z žetoni ([PERSON_1], [EMAIL_1]) pred klicem modela skoraj vedno ohrani pomen za namene analize – in če tabelo preslikave hraniš lokalno, lahko prave vrednosti ponovno vstaviš v odgovor. Dokler ta tabela obstaja, gre pravno gledano za psevdonimizacijo, ne anonimizacijo: podatki ostajajo osebni, vendar podatki, poslani modelu, sami po sebi ne omogočajo več identifikacije osebe.
def anonymize_text(text: str) -> tuple:
"""Anonymizes text and keeps a restoration mapping."""
mapping = {}
anonymized_text = text
# Anonymize emails
emails = re.findall(
r"[a-zA-Z0-9._%+-]+@[a-zA-Z0-9.-]+\.[a-zA-Z]{2,}",
text
)
for i, email in enumerate(set(emails)):
placeholder = f"[EMAIL_{i+1}]"
mapping[placeholder] = email
anonymized_text = anonymized_text.replace(email, placeholder)
# Anonymize phones
phones = re.findall(
r"(?:0|\+33)[1-9](?:[\s.-]?\d{2}){4}",
text
)
for i, tel in enumerate(set(phones)):
placeholder = f"[TEL_{i+1}]"
mapping[placeholder] = tel
anonymized_text = anonymized_text.replace(tel, placeholder)
# Anonymize names (if detected by upstream NER)
# Add your own NER logic here
return anonymized_text, mapping
def restore_text(anonymized_text: str, mapping: dict) -> str:
"""Restores anonymized data after processing."""
restored_text = anonymized_text
for placeholder, value in mapping.items():
restored_text = restored_text.replace(placeholder, value)
return restored_text
# Usage in pipeline
original_text = "Contactez [email protected] au 06 12 34 56 78"
anonymized_text, mapping = anonymize_text(original_text)
# → "Contactez [EMAIL_1] au [TEL_1]"
# Send anonymized text to model
response = client.chat.complete(
model="mistral-large-latest",
messages=[{"role": "user", "content": anonymized_text}]
)
Zapisniki o moderiranju v skladu z GDPR
Zapisniki so klasična slepa pega: mislimo na „osebne podatke” v zvezi z uporabniškimi sporočili, redko pa v zvezi s tehničnimi sledmi, ki jih kopirajo. Vendar pa zapisnik o moderiranju, ki hrani analizirano besedilo, je osebna zbirka podatkov z vsemi posledičnimi obveznostmi. Zlati standard: besedilo hrani le za blokirano vsebino – potreboval ga boš v primeru spora – za sprejeto vsebino pa hrani le ocene.
import hashlib
import hmac
from datetime import datetime, timedelta, timezone
class LogModerationRGPD:
"""GDPR-compliant moderation logger."""
def __init__(self, retention_jours: int = 90):
self.retention_jours = retention_jours
# Mandatory secret key, kept out of code (vault or environment variable)
self.key = os.environ["PII_HMAC_KEY"].encode()
def _pseudonymiser(self, user_id: str) -> str:
"""Pseudonymizes a user identifier (HMAC-SHA-256)."""
return hmac.new(self.key, user_id.encode(), hashlib.sha256).hexdigest()[:16]
def log_moderation(self, user_id: str, scores: dict, decision: str,
text: str | None = None) -> dict:
"""Records a moderation decision."""
maintenant = datetime.now(timezone.utc)
entry = {
"timestamp": maintenant.isoformat(),
"user_hash": self._pseudonymiser(user_id),
"scores": scores,
"decision": decision,
# Do NOT store full text by default
"texte_longueur": len(text) if text else 0,
"conserver_jusqu_au": (maintenant + timedelta(days=self.retention_jours)).isoformat(),
}
# Store text excerpt only if blocked (for audit)
if decision == "blocked" and text:
entry["texte_tronque"] = text[:200]
return entry
def purger_anciens_logs(self, logs: list[dict]) -> list[dict]:
"""Keeps logs whose retention end date has not passed."""
maintenant = datetime.now(timezone.utc)
return [
log for log in logs
if datetime.fromisoformat(log["conserver_jusqu_au"]) > maintenant
]
V tej kodi velja omeniti dva previdnostna ukrepa. Ključ za psevdonimizacijo nima privzete vrednosti: ključ, zapisan v kodi in znan vsem, bi omogočil ponovni izračun haša katerega koli identifikatorja. Poleg tega psevdonimizirani podatki ostajajo osebni podatki v smislu GDPR (uvodna izjava 26): ta zapisnik še vedno spada pod roke hrambe in pravice posameznikov, na katere se podatki nanašajo.
Revizijska sled za skladnost
Revizijska sled odgovarja na specifično vprašanje, ki ti ga lahko zastavi uporabnik ali organ: „Zakaj je bila ta vsebina blokirana?” Brez sledi je tvoj edini iskren odgovor „Ne vem več” – kar je nevzdržno, saj GDPR zahteva, da moraš pri popolnoma avtomatiziranih odločitvah v skladu s 22. členom osebo obvestiti o osnovni logiki (členi od 13 do 15), zakon o umetni inteligenci (AI Act) pa dodaja še svoje obveznosti glede preglednosti. Revizijska sled hrani odločitev, ocene, ki so jo utemeljile, in različico uporabljene politike – nujno pa ne tudi samega besedila.
class AuditTrail:
"""Audit trail for moderation decisions."""
def __init__(self, storage_path: str):
self.storage_path = storage_path
def record_decision(self, data: dict) -> str:
"""Records a decision with a unique identifier."""
import uuid
audit_id = str(uuid.uuid4())
entry = {
"audit_id": audit_id,
"timestamp": datetime.now(timezone.utc).isoformat(),
"type_decision": data.get("decision"),
"modele_moderation": "mistral-moderation-2603",
"scores": data.get("scores"),
"seuils_appliques": data.get("seuils"),
"politique_version": data.get("politique_version"),
"action_prise": data.get("action"),
"base_legale": "interet_legitime",
"responsable": "systeme_automatise"
}
# Write to audit file
import json
with open(self.storage_path, "a") as f:
f.write(json.dumps(entry, ensure_ascii=False) + "\n")
return audit_id
Kontrolni seznam GDPR za tvojo aplikacijo z umetno inteligenco
Tukaj so točke, ki jih moraš preveriti, da zagotoviš skladnost svojega sistema za moderiranje:
Pravna podlaga
- Dokumentiran legitimni interes za moderiranje vsebine
- Obvestilo uporabnikom o avtomatizirani obdelavi
- Možnost izpodbijanja avtomatizirane odločitve
Najmanjša količina podatkov
- Shranjevanje le strogo potrebnih podatkov
- Anonimizacija ali psevdonimizacija uporabniških identifikatorjev
- Okrajšanje besedila v zapisnikih o moderiranju
- Nehranjenje sprejetih besedil (samo ocene)
Rok hrambe
- Določitev roka hrambe za vsako vrsto podatkov
- Zapisniki o moderiranju: največ 90 dni (razen če zakon zahteva drugače)
- Revizijska sled: glede na sektorsko uredbo
- Načrtovano samodejno brisanje
Pravice uporabnikov
- Pravica do dostopa do odločitev o moderiranju, ki se nanašajo nanje
- Pravica do popravka, če je odločitev izpodbijana
- Pravica do razlage avtomatizirane odločitve
Ključne ugotovitve
- GDPR se v celoti uporablja za tvoje sisteme za moderiranje z umetno inteligenco
- Za zaznavanje osebnih podatkov uporabi kategorijo
piipodjetja Mistral IN regularne izraze - Besedila pred pošiljanjem modelu, kadar je to mogoče, anonimiziraj
- Uporabniške identifikatorje v zapisnikih psevdonimiziraj
- Vzpostavi revizijsko sled za sledljivost odločitev
- Določi rok hrambe in samodejno briši zapisnike