Clustering: Ομαδοποίηση κατά Θέμα
Σε αυτήν τη σελίδα
Στόχοι
- Ομαδοποίηση κειμένων κατά θέμα χωρίς προκαθορισμένες ετικέτες
- Χρήση των αλγορίθμων K-Means και HDBSCAN σε embeddings
- Αυτόματη ονοματοδοσία των συστάδων (clusters)
Γιατί clustering;
Το μάθημα ταξινόμησης προϋπέθετε ότι γνωρίζατε ήδη ποιες κατηγορίες υπήρχαν. Το clustering αντιμετωπίζει την αντίθετη κατάσταση, η οποία είναι και η πιο συχνή κατά την εξερεύνηση ενός σώματος κειμένων: κανείς δεν γνωρίζει τι περιέχει. Ανακτάτε οκτώ χιλιάδες λεκτικές απαντήσεις από μια έρευνα ικανοποίησης ή έξι μήνες αιτημάτων υποστήριξης, και το πρώτο ερώτημα δεν είναι «πόσα σφάλματα υπάρχουν», αλλά «για τι πράγμα μιλούν οι άνθρωποι». Το clustering ανακαλύπτει θεματικές ομάδες χωρίς να του δοθούν προκαταρκτικές πληροφορίες.
Τρεις περιπτώσεις χρήσης εμφανίζονται συνεχώς: η ανάλυση χιλιάδων σχολίων πελατών για την εξαγωγή κυρίαρχων μοτίβων, ο εντοπισμός επαναλαμβανόμενων θεμάτων σε αιτήματα υποστήριξης για την εμπλούτιση μιας βάσης γνώσεων, και η εξερεύνηση ενός άγνωστου σώματος εγγράφων πριν αποφασίσετε πώς θα το ευρετηριάσετε.
K-Means σε embeddings
Το K-Means είναι ο αλγόριθμος αναφοράς: του δίνετε έναν αριθμό ομάδων, αυτός τοποθετεί τόσα κέντρα και μετακινεί επαναληπτικά κάθε κέντρο προς τον μέσο όρο των σημείων που προσελκύει. Εφαρμοσμένο σε embeddings αντί για σάκο λέξεων (bag of words), ομαδοποιεί βάσει σημασίας: «η εφαρμογή καταρρέει κατά την εκκίνηση» και «αδυναμία σύνδεσης από χθες» καταλήγουν μαζί, παρόλο που δεν μοιράζονται κοινές λέξεις.
Το παρακάτω παράδειγμα σώματος κειμένων περιέχει σκόπιμα τέσσερις οικογένειες—σφάλματα, αιτήματα λειτουργιών, ερωτήσεις και επαίνους—ώστε να μπορείτε να επαληθεύσετε οπτικά την προκύπτουσα ομαδοποίηση. Η ρύθμιση random_state=42 εγγυάται ότι θα λάβετε τις ίδιες συστάδες από εκτέλεση σε εκτέλεση, κάτι που είναι απαραίτητο κάθε φορά που χρειάζεται να συγκρίνετε δύο διαμορφώσεις.
from openai import OpenAI
from sklearn.cluster import KMeans
import numpy as np
client = OpenAI()
# Example corpus
textes = [
"L'application crash au démarrage sur Android",
"Bug : impossible de se connecter depuis hier",
"Le bouton de validation ne fonctionne pas",
"Pourriez-vous ajouter un export Excel ?",
"Suggestion : un mode hors-ligne serait utile",
"Feature request : intégrer Slack",
"Comment changer mon adresse email ?",
"Où trouver ma facture de janvier ?",
"Quel est le prix de l'abonnement annuel ?",
"Votre produit est excellent, bravo !",
"Merci pour le support réactif",
"Je recommande vivement cette application",
]
# Generate embeddings
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
embeddings = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
# K-Means clustering
n_clusters = 4
kmeans = KMeans(n_clusters=n_clusters, random_state=42, n_init=10)
labels = kmeans.fit_predict(embeddings)
# Display clusters
for cluster_id in range(n_clusters):
print(f"\n--- Cluster {cluster_id} ---")
indices = [i for i, l in enumerate(labels) if l == cluster_id]
for idx in indices:
print(f" {textes[idx]}")
Εύρεση του σωστού αριθμού συστάδων
Με δώδεκα προετοιμασμένες προτάσεις, η επιλογή του τέσσερα ήταν προφανής. Με οκτώ χιλιάδες λεκτικές απαντήσεις, κανείς δεν γνωρίζει τη σωστή τιμή. Δύο μετρικές σας βοηθούν να μαντέψετε. Η αδράνεια (inertia), δηλαδή η υπολειπόμενη διασπορά εντός των ομάδων, μειώνεται μηχανικά καθώς προσθέτετε συστάδες: ψάχνετε για τον «αγκώνα», το σημείο πέρα από το οποίο η μείωση παύει να είναι σημαντική. Το σκορ περιγράμματος (silhouette score) είναι πιο αποφασιστικό επειδή μετρά κάτι διαφορετικό: πόσο πιο κοντά βρίσκεται κάθε σημείο στη δική του ομάδα σε σχέση με την πλησιέστερη γειτονική ομάδα. Σε αντίθεση με την αδράνεια, έχει ένα μέγιστο, και αυτό το μέγιστο δείχνει άμεσα μιαυποψήνια τιμή.
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt
inertias = []
silhouettes = []
K_range = range(2, 10)
for k in K_range:
km = KMeans(n_clusters=k, random_state=42, n_init=10)
km.fit(embeddings)
inertias.append(km.inertia_)
silhouettes.append(silhouette_score(embeddings, km.labels_))
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))
ax1.plot(K_range, inertias, "bo-")
ax1.set_xlabel("Number of clusters")
ax1.set_ylabel("Inertia")
ax1.set_title("Elbow method")
ax2.plot(K_range, silhouettes, "ro-")
ax2.set_xlabel("Number of clusters")
ax2.set_ylabel("Silhouette score")
ax2.set_title("Silhouette score")
plt.tight_layout()
plt.savefig("choix_k.png", dpi=150)
plt.show()
meilleur_k = K_range[np.argmax(silhouettes)]
print(f"Best k according to silhouette: {meilleur_k}")
HDBSCAN: Clustering χωρίς K
Το K-Means πάσχει από ένα δομικό ελάττωμα στα δεδομένα του πραγματικού κόσμου: πρέπει να αναθέσει κάθε σημείο σε μια συστάδα. Μια μεμονωμένη λεκτική απάντηση που δεν μοιάζει με τίποτα άλλο καταλήγει αναγκαστικά προσαρτημένη στην λιγότερο απομακρυσμένη ομάδα, όπου και μολύνει την ερμηνεία. Το HDBSCAN συλλογίζεται με όρους πυκνότητας και δέχεται να πει «όχι»: καθορίζει μόνο του τον αριθμό των ομάδων και τοποθετεί τα μεμονωμένα σημεία σε μια ξεχωριστή κατηγορία με την ετικέτα -1.
Αυτές οι ακραίες τιμές (outliers) δεν είναι σκουπίδια. Σε ένα σώμα αιτημάτων, συχνά αντιπροσωπεύουν σπάνια περιστατικά, αιτήματα εκτός πεδίου ή ασθενή σήματα—ακριβώς αυτά που αξίζουν ανθρώπινη αναθεώρηση. Ο παρακάτω κώδικας τις εμφανίζει ξεχωριστά αντί να τις απορρίπτει.
import hdbscan
clusterer = hdbscan.HDBSCAN(
min_cluster_size=3,
min_samples=2,
metric="euclidean"
)
labels_hdbscan = clusterer.fit_predict(embeddings)
n_clusters = len(set(labels_hdbscan)) - (1 if -1 in labels_hdbscan else 0)
n_outliers = list(labels_hdbscan).count(-1)
print(f"Clusters found: {n_clusters}")
print(f"Outliers: {n_outliers}")
for cluster_id in range(n_clusters):
print(f"\n--- Cluster {cluster_id} ---")
indices = [i for i, l in enumerate(labels_hdbscan) if l == cluster_id]
for idx in indices:
print(f" {textes[idx]}")
if n_outliers > 0:
print("\n--- Outliers ---")
for i, l in enumerate(labels_hdbscan):
if l == -1:
print(f" {textes[i]}")
Αυτόματη ονοματοδοσία συστάδων
Ένας αλγόριθμος clustering σας δίνει αριθμούς. Το «Συστάδα 2» δεν έχει θέση σε μια αναφορά ή σε έναν πίνακα ελέγχου. Το βήμα που καθιστά το αποτέλεσμα usable συνίσταται στην υποβολή μιας δωδεκάδας αντιπροσωπευτικών μελών στο LLM και την αίτηση για ένα σύντομο όνομα: «Προβλήματα Σύνδεσης», «Αιτήματα Ολοκλήρωσης», «Ερωτήσεις Χρέωσης». Ο περιορισμός σε δέκα παραδείγματα ελέγχει το κόστος, η ρύθμιση της θερμοκρασίας στο μηδέν εξασφαλίζει ότι η ίδια συστάδα θα λαμβάνει πάντα το ίδιο όνομα, και ο βρόχος αγνοεί την ετικέτα -1 καθώς οι ακραίες τιμές, εξ ορισμού, δεν έχουν κοινό θέμα.
def nommer_clusters(
textes: list[str],
labels: list[int]
) -> dict[int, str]:
"""Names each cluster using an LLM."""
noms = {}
clusters = set(l for l in labels if l >= 0)
for cluster_id in clusters:
exemples = [
textes[i] for i, l in enumerate(labels)
if l == cluster_id
][:10] # Max 10 examples
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Voici des textes regroupés dans un même cluster :\n\n"
+ "\n".join(f"- {e}" for e in exemples) +
f"\n\nDonne un nom court (2-4 mots) qui décrit "
f"le thème commun de ce groupe. "
f"Retourne uniquement le nom."
)
}],
temperature=0,
max_tokens=20
)
noms[cluster_id] = response.choices[0].message.content.strip()
return noms
# Usage
noms = nommer_clusters(textes, labels)
for cluster_id, nom in noms.items():
print(f"Cluster {cluster_id}: {nom}")
indices = [i for i, l in enumerate(labels) if l == cluster_id]
for idx in indices:
print(f" - {textes[idx]}")
Πλήρης ροή εργασίας clustering
Τα τρία βήματα—embedding, clustering, ονοματοδοσία—συνδυάζονται φυσικά σε μια ενιαία κλάση. Η παράμετρος methode δέχεται την τιμή "auto", η οποία αναθέτει την επιλογή του πλήθους των ομάδων στο HDBSCAN, ή μια αριθμητική τιμή που περνά ως συμβολοσειρά όταν θέλετε να επιβάλετε ένα K στο K-Means. Το επιστρεφόμενο λεξικό περιέχει τις ετικέτες, τα ευανάγνωστα ονόματα και δύο μετρητές που σας λένε άμεσα εάν το αποτέλεσμα αξίζει να χρησιμοποιηθεί: ένα n_outliers κοντά στο σύνολο σημαίνει ότι το σώμα κειμένων σας στερείται πυκνής δομής και θα πρέπει να επιστρέψετε στο K-Means.
class PipelineClustering:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
def analyser(self, textes: list[str], methode: str = "auto") -> dict:
"""Complete pipeline: embedding → clustering → naming."""
# 1. Embeddings
response = self.client.embeddings.create(
input=textes, model=self.model
)
embs = np.array([
d.embedding for d in sorted(response.data, key=lambda x: x.index)
])
# 2. Clustering
if methode == "auto":
clusterer = hdbscan.HDBSCAN(min_cluster_size=3)
labels = clusterer.fit_predict(embs)
else:
km = KMeans(n_clusters=int(methode), random_state=42)
labels = km.fit_predict(embs)
# 3. Name clusters
noms = nommer_clusters(textes, labels)
return {
"labels": labels.tolist(),
"noms": noms,
"n_clusters": len(set(l for l in labels if l >= 0)),
"n_outliers": list(labels).count(-1)
}
pipeline = PipelineClustering()
resultats = pipeline.analyser(textes)
Βασικά σημεία
- Χρησιμοποιήστε το K-Means όταν γνωρίζετε τον αριθμό των συστάδων
- Χρησιμοποιήστε το HDBSCAN για την αυτόματη ανίχνευση ομάδων και ακραίων τιμών
- Το σκορ περιγράμματος (silhouette score) βοηθά στην επιλογή του σωστού K
- Ένα LLM ονομάζει αυτόματα τις ανακαλυφθείσες συστάδες
- Τα embeddings καθιστούν το clustering σημασιολογικό και όχι απλώς λεξιλογικό