Ανίχνευση ανωμαλιών και διπλοτύπων
Σε αυτήν τη σελίδα
Στόχοι
- Εντοπισμός μη φυσιολογικών κειμένων εντός ενός σώματος κειμένων
- Ταυτοποίηση σημασιολογικών διπλοτύπων
- Δημιουργία αγωγού απλοποίησης (deduplication pipeline)
Ανίχνευση Ανωμαλιών
Οι δύο εφαρμογές αυτού του μαθήματος μοιράζονται την ίδια διαίσθηση, εφαρμοσμένη στα αντίθετα άκρα της κλίμακας ομοιότητας. Ένα κείμενο θεωρείται «μη φυσιολογικό» εάν είναι σημασιολογικά απομακρυσμένο από όλα τα υπόλοιπα στο σώμα κειμένων· ένα κείμενο είναι διπλότυπο εάν είναι υπερβολικά κοντά. Τα embeddings σας επιτρέπουν να μετρήσετε αυτή την απόσταση και στις δύο περιπτώσεις. Το μεγαλύτερο μέρος της εργασίας αφορά τη βαθμονόμηση των κατωφλίων.
Η πρώτη προσέγγιση κατασκευάζει το κεντροειδές του σώματος κειμένων—τον μέσο όρο όλων των διανυσμάτων, το οποίο αντιπροσωπεύει «το συνηθισμένο θέμα αυτού του σώματος κειμένων»—και στη συνέχεια μετρά πόσο αποκλίνει κάθε κείμενο από αυτό. Το κατώφλι δεν είναι σκόπιμα μια απόλυτη τιμή αλλά ένα εκατοστημόριο: δεν μπορείτε να γνωρίζετε εκ των προτέρων πόσο μακριά βρίσκεται μια ανωμαλία, αλλά γνωρίζετε ότι θέλετε να εξετάσετε το πιο άτυπο 5%.
from openai import OpenAI
import numpy as np
client = OpenAI()
def detect_anomalies(
texts: list[str],
percentile_threshold: float = 95,
model: str = "text-embedding-3-large"
) -> list[dict]:
"""Detects abnormal texts by distance to the centroid."""
response = client.embeddings.create(
input=texts, model=model
)
embeddings = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
# Corpus centroid
centroid = embeddings.mean(axis=0)
centroid /= np.linalg.norm(centroid)
# Distance of each text to the centroid
similarities = embeddings @ centroid
threshold = np.percentile(similarities, 100 - percentile_threshold)
anomalies = []
for i, sim in enumerate(similarities):
if sim < threshold:
anomalies.append({
"index": i,
"text": texts[i],
"similarity": float(sim),
"is_anomaly": True
})
return anomalies
# Example
corpus = [
"Our leave policy provides 25 days per year",
"Leave must be requested 2 weeks in advance",
"Leave balances are visible on the HR portal",
"Exceptional leave is granted with supporting documentation",
"SELECT * FROM users WHERE admin=1; DROP TABLE users;--", # Anomaly!
"The remote work policy allows 3 days per week",
]
anomalies = detect_anomalies(corpus)
for a in anomalies:
print(f" ANOMALY [{a['similarity']:.3f}] : {a['text'][:60]}...")
Το παράδειγμα σώματος κειμένων μιλά από μόνο του: πέντε προτάσεις πολιτικής HR και μία απόπειρα έγχυσης SQL. Κανένα φίλτρο λέξεων-κλειδιών δεν θα είχε εντοπίσει την έγχυση χωρίς έναν προ-γραμμένο κανόνα· η απόσταση από το κεντροειδές την επισημαίνει χωρίς καμία προηγούμενη πρόβλεψη. Αυτό είναι το κύριο επιχείρημα για τη χρήση της μεθόδου στην παρακολούθηση μιας ροής εισερχόμενων εγγράφων.
Το κεντροειδές έχει μια αδυναμία: υποθέτει ότι το σώμα κειμένων περιστρέφεται γύρω από ένα ενιαίο θέμα. Εάν τα έγγραφά σας καλύπτουν τρεις πολύ διαφορετικούς τομείς, το μέσο σημείο πέφτει σε ένα σημασιολογικό κενό και όλα τα κείμενα φαίνονται εξίσου απομακρυσμένα. Η προσέγγιση των k-πλησιέστερων γειτόνων (k-nearest neighbors) παρακάμπτει αυτό το πρόβλημα κρίνοντας κάθε κείμενο με βάση την άμεση γειτονιά του και όχι ολόκληρο το σύνολο: ένα έγγραφο που ανήκει σε μια μειοψηφική ομάδα παραμένει φυσιολογικό εφόσον έχει γείτονες.
def detect_anomalies_knn(
texts: list[str],
k: int = 3,
percentile_threshold: float = 90,
model: str = "text-embedding-3-large"
) -> list[dict]:
"""Detects anomalies by distance to the k nearest neighbors."""
response = client.embeddings.create(
input=texts, model=model
)
embeddings = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
# Similarity matrix
sim_matrix = embeddings @ embeddings.T
# For each text, average of the k nearest neighbors
isolation_scores = []
for i in range(len(texts)):
sims = sim_matrix[i].copy()
sims[i] = -1 # Exclude self
top_k_sims = np.sort(sims)[-k:]
isolation_scores.append(top_k_sims.mean())
threshold = np.percentile(isolation_scores, 100 - percentile_threshold)
anomalies = []
for i, score in enumerate(isolation_scores):
if score < threshold:
anomalies.append({
"index": i,
"text": texts[i],
"isolation_score": float(score)
})
return anomalies
Ανίχνευση Σημασιολογικών Διπλοτύπων
Στο άλλο άκρο της κλίμακας βρίσκονται τα κείμενα που είναι υπερβολικά κοντά. Δύο εγγραφές μπορεί να είναι διπλότυπες ακόμη και με διαφορετικές λέξεις—«Πώς επαναφέρω τον κωδικό πρόσβασής μου;» και «Ξέχασα τον κωδικό, τι κάνω;» μοιράζονται μόνο τρεις κοινές λέξεις—και αυτό είναι ακριβώς κάτι που ο κατακερματισμός (hashing) ή η σύγκριση συμβολοσειρών δεν θα εντοπίσουν ποτέ. Τα embeddings τα ανιχνεύουν.
Η συνάρτηση υπολογίζει τον πλήρη πίνακα ομοιότητας και επιστρέφει όλα τα ζεύγη πάνω από το κατώφλι. Προσοχή στο κόστος: αυτή η σύγκριση είναι τετραγωνική, κάτι που παραμένει ακαριαίο για μερικές χιλιάδες κείμενα αλλά γίνεται μη πρακτικό για ένα εκατομμύριο—τότε πρέπει να χρησιμοποιήσετε έναν κατά προσέγγιση δείκτη όπως αυτοί που καλύπτονται με τις βάσεις δεδομένων διανυσμάτων.
def find_duplicates(
texts: list[str],
threshold: float = 0.90,
model: str = "text-embedding-3-large"
) -> list[dict]:
"""Finds pairs of semantically identical texts."""
response = client.embeddings.create(
input=texts, model=model
)
embeddings = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
# Similarity matrix
sim_matrix = embeddings @ embeddings.T
duplicates = []
for i in range(len(texts)):
for j in range(i + 1, len(texts)):
if sim_matrix[i][j] >= threshold:
duplicates.append({
"text_a": texts[i],
"text_b": texts[j],
"index_a": i,
"index_b": j,
"similarity": float(sim_matrix[i][j])
})
return sorted(duplicates, key=lambda x: x["similarity"], reverse=True)
# Example
texts = [
"How do I reset my password?",
"I cannot log in to my account",
"Forgot password, what do I do?", # Duplicate of [0]
"What is the refund policy?",
"Unable to access my personal space", # Duplicate of [1]
"How do I get a refund?", # Duplicate of [3]
]
dupes = find_duplicates(texts, threshold=0.85)
print(f"{len(dupes)} duplicate pairs found:")
for d in dupes:
print(f" [{d['similarity']:.3f}]")
print(f" A: {d['text_a']}")
print(f" B: {d['text_b']}")
Η κλήση εδώ χρησιμοποιεί κατώφλι 0,85 αντί για το προεπιλεγμένο 0,90 επειδή οι διατυπώσεις της ίδιας ερώτησης υποστήριξης συχνά πέφτουν πολύ κάτω από το 0,90. Αυτή είναι η ρύθμιση στην οποία θα αφιερώσετε τον περισσότερο χρόνο: αν την ορίσετε πολύ υψηλά, θα αφήσετε διπλότυπα να διαφύγουν· αν την ορίσετε πολύ χαμηλά, θα συγχωνεύσετε το «πώς αλλάζω τον κωδικό μου» με το «πώς αλλάζω το email μου», δύο distinct ερωτήσεις που μοιάζουν πολύ μεταξύ τους.
Αγωγός Απλοποίησης (Deduplication Pipeline)
Ο εντοπισμός ζευγών δεν αρκεί για τον καθαρισμό ενός σώματος κειμένων. Εάν το Α μοιάζει με το Β και το Β μοιάζει με το Γ, και τα τρία ανήκουν στην ίδια ομάδα, ακόμη και αν τα Α και Γ δεν συγκρίθηκαν ποτέ άμεσα πάνω από το κατώφλι. Η μεταβατική ομαδοποίηση είναι η πραγματική εργασία και η δομή Union-Find την χειρίζεται σε ένα μόνο πέρασμα: κάθε εντοπισμένο ζεύγος συγχωνεύει δύο σύνολα, yielding πλήρως διαμορφωμένες ομάδες διπλοτύπων στο τέλος.
Πρέπει ακόμη να επιλέξετε ποιο μέλος θα επιβιώσει. Ο κανόνας που χρησιμοποιείται εδώ—το συντομότερο κείμενο—λειτουργεί καλά για ερωτήσεις υποστήριξης, όπου η πιο συνοπτική διατύπωση είναι συχνά η πιο κανονική. Για ένα σώμα εγγράφων, πιθανότατα θα θέλετε το αντίθετο, ή το πιο πρόσφατο: αυτή είναι μια επιχειρηματική απόφαση, όχι μια τεχνική λεπτομέρεια. Το επιστρεφόμενο λεξικό διατηρεί τη λίστα των διαγραμμένων κειμένων ώστε ένας άνθρωπος να μπορεί να επαληθεύσει τις οριακές περιπτώσεις πριν εγκρίνει.
class Deduplicator:
def __init__(self, threshold: float = 0.90):
self.client = OpenAI()
self.threshold = threshold
def deduplicate(self, texts: list[str]) -> dict:
"""Removes semantic duplicates."""
response = self.client.embeddings.create(
input=texts, model="text-embedding-3-large"
)
embeddings = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
# Union-Find to group duplicates
parent = list(range(len(texts)))
def find(x):
while parent[x] != x:
parent[x] = parent[parent[x]]
x = parent[x]
return x
def union(a, b):
pa, pb = find(a), find(b)
if pa != pb:
parent[pb] = pa
# Find similar pairs
sim_matrix = embeddings @ embeddings.T
for i in range(len(texts)):
for j in range(i + 1, len(texts)):
if sim_matrix[i][j] >= self.threshold:
union(i, j)
# Keep one representative per group
groups = {}
for i in range(len(texts)):
root = find(i)
if root not in groups:
groups[root] = []
groups[root].append(i)
# Select unique texts (shortest in each group)
uniques = []
deleted = []
for root, members in groups.items():
representative = min(members, key=lambda i: len(texts[i]))
uniques.append(texts[representative])
for m in members:
if m != representative:
deleted.append(texts[m])
return {
"uniques": uniques,
"deleted": deleted,
"n_original": len(texts),
"n_deduplicated": len(uniques),
"n_deleted": len(deleted)
}
# Usage
dedup = Deduplicator(threshold=0.85)
result = dedup.deduplicate(texts)
print(f"Before: {result['n_original']} texts")
print(f"After: {result['n_deduplicated']} texts")
print(f"Deleted: {result['n_deleted']}")
Εφαρμοσμένη upstream ενός ευρετηρίου RAG, αυτή η απλοποίηση έχει άμεση επίδραση στην ποιότητα: αποτρέπει το ενδεχόμενο τα πέντε αποτελέσματα που επιστρέφονται για μια ερώτηση να είναι πέντε εκδοχές του ίδιου αποσπάσματος, κάτι που θα στερούσε από τη γεννήτρια οποιαδήποτε πρόσθετη πληροφορία.
Βασικά σημεία
- Η απόσταση από το κεντροειδές ή το k-NN ανιχνεύει μη φυσιολογικά κείμενα
- Η ομοιότητα συνημιτόνου πάνω από ένα κατώφλι εντοπίζει διπλότυπα
- Το Union-Find ομαδοποιεί αποτελεσματικά τα μεταβατικά διπλότυπα
- Βαθμονομήστε τα κατώφλια στα δικά σας δεδομένα (τυπικά 0,85–0,95 για διπλότυπα)