Clustering: Raggruppament Awtomatiku
F'din il-paġna
Għanijiet
- Iggrouppja testi skont it-tema mingħajr tikketta minn qabel
- Uża K-Means u HDBSCAN fuq l-embeddings
- Semmi l-clusters awtomatikament
Għaliex il-clustering?
Il-lezzjoni dwar il-klassifikazzjoni assumiet li diġà kont taf liema kategoriji jeżistu. Il-clustering jindirizza s-sitwazzjoni opposta, li hija wkoll l-aktar waħda komuni meta tesplora corpus: ħadd ma jaf x’fih. Tirċievi tmien elef verbatim minn stħarriġ ta’ sodisfazzjon, jew sitt xhur ta’ tikketts tas-support, u l-ewwel mistoqsija mhix “kemm hemm bugs” iżda “dwar xiex qed jitkellmu n-nies fil-fatt?”. Il-clustering jiskopri gruppi tematiċi mingħajr ma jingħata xejn minn qabel.
Tliet każijiet ta’ użu joħorġu kontinwament: analiżi ta’ eluf ta’ feedback tal-klijenti biex tiġi estratta mudelli dominanti, identifikazzjoni ta’ suġġetti rikorrenti fit-tikketts tas-support biex timla bażi tal-għarfien, u esplorazzjoni ta’ corpus ta’ dokumenti mhux magħruf qabel ma tiddeċiedi kif tindiċjah.
K-Means fuq l-embeddings
K-Means huwa l-algoritmu preferut: tagħtih numru ta’ gruppi, huwa jpoġġi daqshekk ċentri, u b’mod iterattiv iċaqlaq kull ċentru lejn il-medja tal-punti li jiġbed. Meta jiġi applikat fuq l-embeddings minflok fuq borża ta’ kliem (bag of words), jiggrouppja skont it-tifsira: “l-app jikkraxxja meta jiftaħ” u “ma nistax nidħol minn lbieraħ” jispiċċaw flimkien anke jekk ma jaqsmu l-ebda kelma.
Il-corpus ta’ eżempju hawn taħt fih erba’ familji intenzjonalment—bugs, talbiet għal funzjonijiet, mistoqsijiet, u kumplimenti—biex tkun tista’ tivverifika viżwalment ir-raggruppament li jirriżulta. L-issettjar random_state=42 jiggarantixxi li tikseb l-istess clusters minn ġirja għall-oħra, li huwa essenzjali kull meta jkollok bżonn tqabbel żewġ konfigurazzjonijiet.
from openai import OpenAI
from sklearn.cluster import KMeans
import numpy as np
client = OpenAI()
# Example corpus
textes = [
"L'application crash au démarrage sur Android",
"Bug : impossible de se connecter depuis hier",
"Le bouton de validation ne fonctionne pas",
"Pourriez-vous ajouter un export Excel ?",
"Suggestion : un mode hors-ligne serait utile",
"Feature request : intégrer Slack",
"Comment changer mon adresse email ?",
"Où trouver ma facture de janvier ?",
"Quel est le prix de l'abonnement annuel ?",
"Votre produit est excellent, bravo !",
"Merci pour le support réactif",
"Je recommande vivement cette application",
]
# Generate embeddings
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
embeddings = np.array(
[d.embedding for d in sorted(response.data, key=lambda x: x.index)]
)
# K-Means clustering
n_clusters = 4
kmeans = KMeans(n_clusters=n_clusters, random_state=42, n_init=10)
labels = kmeans.fit_predict(embeddings)
# Display clusters
for cluster_id in range(n_clusters):
print(f"\n--- Cluster {cluster_id} ---")
indices = [i for i, l in enumerate(labels) if l == cluster_id]
for idx in indices:
print(f" {textes[idx]}")
Insib in-numru t-tajjeb ta’ clusters
B’dax-il sentenza mħejjija, li tagħżel erbgħa kien ovvju. B’tmien elef verbatim, ħadd ma jaf il-valur it-tajjeb. Żewġ metriki jgħinuk tgħarraf. L-inerzja, jiġifieri d-dispersjoni residwa fi ħdan il-gruppi, tonqos mekkanikament hekk kif iżżid il-clusters: qed tfittex il-”minkeb” (elbow), il-punt li warajh ma tinżilx b’mod sinifikanti. Is-silhouette score huwa aktar deċiżiv għax ikejjel xi ħaġa oħra: kemm kull punt huwa eqreb lejn il-grupp tiegħu stess milli lejn l-eqreb grupp ġar. Kuntrarjament għall-inerzja, għandu massimu, u dak il-massimu jindika direttament valur kandidat.
from sklearn.metrics import silhouette_score
import matplotlib.pyplot as plt
inertias = []
silhouettes = []
K_range = range(2, 10)
for k in K_range:
km = KMeans(n_clusters=k, random_state=42, n_init=10)
km.fit(embeddings)
inertias.append(km.inertia_)
silhouettes.append(silhouette_score(embeddings, km.labels_))
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(14, 5))
ax1.plot(K_range, inertias, "bo-")
ax1.set_xlabel("Number of clusters")
ax1.set_ylabel("Inertia")
ax1.set_title("Elbow method")
ax2.plot(K_range, silhouettes, "ro-")
ax2.set_xlabel("Number of clusters")
ax2.set_ylabel("Silhouette score")
ax2.set_title("Silhouette score")
plt.tight_layout()
plt.savefig("choix_k.png", dpi=150)
plt.show()
meilleur_k = K_range[np.argmax(silhouettes)]
print(f"Best k according to silhouette: {meilleur_k}")
HDBSCAN: Clustering mingħajr K
K-Means ibati minn difett strutturali fuq data tad-dinja reali: irid jassenja kull punt għal cluster. Verbatim iżolat li ma jixbah lil xejn ieħor jispiċċa marbut b’forza mal-grupp l-inqas ‘il bogħod, fejn jipollwixxi l-interpretazzjoni. HDBSCAN jaħseb f’termini ta’ densità u jaċċetta li jgħid le: jiddetermina n-numru ta’ gruppi huwa stess u jpoġġi punti iżolati f’kategorija separata ttikkettjata -1.
Dawn l-outliers mhumiex skart. F’corpus ta’ tikketts, spiss huma inċidenti rari, talbiet barra mill-iskop, jew sinjali dgħajfa—eżattament dak li jixraqlu reviżjoni umana. Il-kodiċi hawn taħt jurihom separatament minflok ma jarmihom.
import hdbscan
clusterer = hdbscan.HDBSCAN(
min_cluster_size=3,
min_samples=2,
metric="euclidean"
)
labels_hdbscan = clusterer.fit_predict(embeddings)
n_clusters = len(set(labels_hdbscan)) - (1 if -1 in labels_hdbscan else 0)
n_outliers = list(labels_hdbscan).count(-1)
print(f"Clusters found: {n_clusters}")
print(f"Outliers: {n_outliers}")
for cluster_id in range(n_clusters):
print(f"\n--- Cluster {cluster_id} ---")
indices = [i for i, l in enumerate(labels_hdbscan) if l == cluster_id]
for idx in indices:
print(f" {textes[idx]}")
if n_outliers > 0:
print("\n--- Outliers ---")
for i, l in enumerate(labels_hdbscan):
if l == -1:
print(f" {textes[i]}")
Tismija awtomatika tal-clusters
Algoritmu tal-clustering jagħtik numri. “Cluster 2” ma jappartjenix f’rapport jew f’dashboard. Il-pass li jagħmel ir-riżultat użabbli jikkonsisti fit-tressiq ta’ dożżina ta’ membri rappreżentattivi lill-LLM u titlobu isem qasir: “Problemi ta’ Konnessjoni”, “Talbiet ta’ Integrazzjoni”, “Mistoqsijiet dwar il-Fatturar”. Il-limitazzjoni għal għaxar eżempji tikkontrolla l-ispiża, li tissettja t-temperatura għal żero tiżgura li l-istess cluster dejjem jikseb l-istess isem, u l-linja tinjora t-tikketta -1 peress li l-outliers, skont id-definizzjoni, m’għandhom l-ebda tema komuni.
def nommer_clusters(
textes: list[str],
labels: list[int]
) -> dict[int, str]:
"""Names each cluster using an LLM."""
noms = {}
clusters = set(l for l in labels if l >= 0)
for cluster_id in clusters:
exemples = [
textes[i] for i, l in enumerate(labels)
if l == cluster_id
][:10] # Max 10 examples
response = client.chat.completions.create(
model="gpt-5.6-terra",
messages=[{
"role": "user",
"content": (
f"Voici des textes regroupés dans un même cluster :\n\n"
+ "\n".join(f"- {e}" for e in exemples) +
f"\n\nDonne un nom court (2-4 mots) qui décrit "
f"le thème commun de ce groupe. "
f"Retourne uniquement le nom."
)
}],
temperature=0,
max_tokens=20
)
noms[cluster_id] = response.choices[0].message.content.strip()
return noms
# Usage
noms = nommer_clusters(textes, labels)
for cluster_id, nom in noms.items():
print(f"Cluster {cluster_id}: {nom}")
indices = [i for i, l in enumerate(labels) if l == cluster_id]
for idx in indices:
print(f" - {textes[idx]}")
Pipeline sħiħa tal-clustering
It-tliet passi—embedding, clustering, tismija—naturalment jingħaqdu f’klassi waħda. Il-parametru methode jaċċetta "auto", li jiddelega l-għażla tan-numru ta’ gruppi lil HDBSCAN, jew valur numeriku mgħoddi bħala stringa meta trid timponi K fuq K-Means. Id-dizzjunarju ritornat fih it-tikketti, ismijiet li jinqraw, u żewġ kontaturi li jgħidulek immedjatament jekk ir-riżultat jixxortix li jintuża: n_outliers qrib it-total ifisser li l-corpus tiegħek jonqsu struttura densa, u għandek terġa’ lura għal K-Means.
class PipelineClustering:
def __init__(self, model: str = "text-embedding-3-large"):
self.client = OpenAI()
self.model = model
def analyser(self, textes: list[str], methode: str = "auto") -> dict:
"""Complete pipeline: embedding → clustering → naming."""
# 1. Embeddings
response = self.client.embeddings.create(
input=textes, model=self.model
)
embs = np.array([
d.embedding for d in sorted(response.data, key=lambda x: x.index)
])
# 2. Clustering
if methode == "auto":
clusterer = hdbscan.HDBSCAN(min_cluster_size=3)
labels = clusterer.fit_predict(embs)
else:
km = KMeans(n_clusters=int(methode), random_state=42)
labels = km.fit_predict(embs)
# 3. Name clusters
noms = nommer_clusters(textes, labels)
return {
"labels": labels.tolist(),
"noms": noms,
"n_clusters": len(set(l for l in labels if l >= 0)),
"n_outliers": list(labels).count(-1)
}
pipeline = PipelineClustering()
resultats = pipeline.analyser(textes)
Punti Ewlenin
- Uża K-Means meta tkun taf in-numru ta’ clusters
- Uża HDBSCAN biex tiskopri awtomatikament gruppi u outliers
- Is-silhouette score jgħinek tagħżel il-K it-tajjeb
- LLM jissejjaħ awtomatikament il-clusters skoperti
- L-embeddings jagħmlu l-clustering semantiku, mhux biss lessikali