Léim go dtí an príomhábhar
Gaeilge— Roghnaigh teanga
Roghchlár

Léirigh na leabaithe

Ceacht 5 as 22 Nuashonraithe 29 Iúil 2026 Forbróir
Ar an leathanach seo
  1. Cuspóirí
  2. An dúshlán: 3,072 toise
  3. Laghdú toiseachta le t-SNE
  4. Laghdú le UMAP
  5. Léirshamhlú idirghníomhach 3D
  6. Éifeacht an laghdaithe toiseachta a léirshamhlú
  7. Príomhphointí

Cuspóirí

  • Veicteoirí ardtoiseacha a laghdú chun iad a léiriú i 2D/3D
  • t-SNE agus UMAP a úsáid chun léirshamhlú a dhéanamh
  • Braislí amhairc a léirmhíniú

An dúshlán: 3,072 toise

Tá na leabaithe ina gcónaí i spás 3,072-toise nach féidir le haon duine a fheiceáil go díreach. Chun iad a scrúdú, caithfidh tú iad a thionscadal isteach i dhá nó trí thoise. Glacann sé seo le cailliúint áirithe faisnéise, ach coimeádann sé an struchtúr riachtanach: ba chóir do phointí a bhí gar dá chéile fanacht gar. Is uirlis dhiagnóiseach chumhachtach é seo. Léimeann braisle scoilte nó téamaí forluiteacha amach ar an gcéad amharc, cé go bhféadfadh méadrachtaí comhiomlána iad a chailleadh go hiomlán.

Laghdú toiseachta le t-SNE

Is é t-SNE (t-distributed Stochastic Neighbor Embedding) an modh clasaiceach. Faigheann sé leagan amach 2D ina gcoimeádann gach pointe a chomharsanacht bhunaidh. Déanann an sampla thíos corpas a thógáil d’aon ghnó le trí théama ar leith—AI, cócaireacht, agus spórt—ionas gur féidir leat a fhíorú go n-aisghabhann an tionscadal an struchtúr a bhí súil leis.

from openai import OpenAI
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
import numpy as np

client = OpenAI()

# Example corpus
textes = [
    # AI Cluster
    "Deep learning uses neural networks",
    "Machine learning transforms data science",
    "Transformers revolutionized NLP",
    "GPT-5 is a large language model",
    # Cooking Cluster
    "Chocolate cake recipe",
    "How to prepare ratatouille",
    "Basics of French pastry",
    "Oven baking techniques",
    # Sports Cluster
    "Paris Marathon attracts thousands of runners",
    "Interval training for running",
    "Soccer rules explained",
    "Sports nutrition and performance",
]

categories = (["AI"] * 4 + ["Cooking"] * 4 + ["Sports"] * 4)

# Generate embeddings
response = client.embeddings.create(
    input=textes,
    model="text-embedding-3-large"
)
embeddings = np.array([d.embedding for d in response.data])

# t-SNE reduction to 2D
tsne = TSNE(n_components=2, random_state=42, perplexity=4)
coords = tsne.fit_transform(embeddings)

# Visualization
couleurs = {"AI": "#2563eb", "Cooking": "#dc2626", "Sports": "#16a34a"}
fig, ax = plt.subplots(figsize=(10, 8))

for cat in couleurs:
    mask = [c == cat for c in categories]
    ax.scatter(
        coords[mask, 0], coords[mask, 1],
        c=couleurs[cat], label=cat, s=100, alpha=0.8
    )
    for i, (x, y) in enumerate(coords[mask]):
        idx = [j for j, m in enumerate(mask) if m][i]
        ax.annotate(
            textes[idx][:30] + "...",
            (x, y), fontsize=7, alpha=0.7
        )

ax.legend()
ax.set_title("t-SNE Visualization of Embeddings")
plt.tight_layout()
plt.savefig("tsne_embeddings.png", dpi=150)
plt.show()

Tiomáineann trí pharaiméadar an toradh. Cothromaíonn perplexity an struchtúr áitiúil i gcoinne an struchtúir ghloibigh, le luachanna tipiciúla idir 5 agus 50; anseo, socraítear é ar 4 toisc nach bhfuil ach dhá phointe dhéag sa chorpas, agus chruthódh perplexity níos airde ná na comharsana atá ar fáil tionscadal neamhchomhleanúnach. Socraíonn n_iter líon na n-iteráidí optamaithe, le híosphointe 250 agus idealach níos mó ná 1,000. Áirithíonn random_state in-atáirgeadh: gan é, thabharfadh dhá rith leantacha figiúirí difriúla, rud a dhéanfadh comparáid dodhéanta.

Laghdú le UMAP

Is minic a fhearrtar UMAP (Uniform Manifold Approximation and Projection) thar t-SNE toisc go bhfuil sé níos tapúla agus go gcoimeádann sé an struchtúr globálach níos fearr. I bhfocail eile, ciallaíonn rud éigin an fad idir dhá bhraisle ar ghraf UMAP, cé go bhfuil sé treallach le t-SNE.

import umap

# UMAP reduction to 2D
reducer = umap.UMAP(n_components=2, random_state=42, n_neighbors=5)
coords_umap = reducer.fit_transform(embeddings)

fig, ax = plt.subplots(figsize=(10, 8))

for cat in couleurs:
    mask = [c == cat for c in categories]
    ax.scatter(
        coords_umap[mask, 0], coords_umap[mask, 1],
        c=couleurs[cat], label=cat, s=100, alpha=0.8
    )

ax.legend()
ax.set_title("UMAP Visualization of Embeddings")
plt.tight_layout()
plt.savefig("umap_embeddings.png", dpi=150)
plt.show()

Déanann an tábla thíos achoimre ar na malartuithe idir an dá mhodh.

Critéart-SNEUMAP
LuasMall (O(n²))Tapa
Struchtúr globálachDroch-choimeádtaDea-choimeádta
In-atáirgeadhAthraitheachCobhsaí
Paraiméadairperplexityn_neighbors, min_dist

Léirshamhlú idirghníomhach 3D

Ar chorpas de roinnt céad pointe, éiríonn figiúr statach doléite: forluíonn lipéid, agus ní féidir leat a rá cén téacs a fhreagraíonn do ché phointe. Réitíonn Plotly é seo trí fhaisnéis a bhogadh isteach i mbarrfhaisnéisí (tooltips) agus trí ligean duit scamall na bpointí a rothlú.

import plotly.express as px
import pandas as pd

# Reduction to 3D
reducer_3d = umap.UMAP(n_components=3, random_state=42, n_neighbors=5)
coords_3d = reducer_3d.fit_transform(embeddings)

df = pd.DataFrame({
    "x": coords_3d[:, 0],
    "y": coords_3d[:, 1],
    "z": coords_3d[:, 2],
    "category": categories,
    "text": [t[:50] for t in textes]
})

fig = px.scatter_3d(
    df, x="x", y="y", z="z",
    color="category",
    hover_data=["text"],
    title="3D Embeddings"
)
fig.write_html("embeddings_3d.html")
fig.show()

Tá an comhad HTML a thagann as réidh le roinnt. Is bealach den scoth é chun a thaispeáint d’fhoireann gnó conas a dháiltear a gcuid doiciméad gan líne cód amháin a scríobh.

Éifeacht an laghdaithe toiseachta a léirshamhlú

Dúirt Ceacht 2 go gcoimeádann veicteoir a ghearradh go 256 toise thart ar 88% dá cháilíocht. Fanann an figiúr sin teibí go dtí go bhfeiceann tú é. Trí an corpas céanna a ghiniúint i gceithre mhéid éagsúla agus gach leagan a thionscadal, feiceann tú go díreach cathain a thosaíonn na braislí ag teagmháil lena chéile. Ligeann sé seo duit cinneadh a dhéanamh bunaithe ar fhianaise seachas ar riail ghinearálta.

dimensions_a_tester = [256, 512, 1536, 3072]

fig, axes = plt.subplots(1, 4, figsize=(24, 5))

for ax, dim in zip(axes, dimensions_a_tester):
    resp = client.embeddings.create(
        input=textes,
        model="text-embedding-3-large",
        dimensions=dim
    )
    embs = np.array([d.embedding for d in resp.data])
    tsne = TSNE(n_components=2, random_state=42, perplexity=4)
    coords = tsne.fit_transform(embs)

    for cat in couleurs:
        mask = [c == cat for c in categories]
        ax.scatter(coords[mask, 0], coords[mask, 1],
                   c=couleurs[cat], label=cat, s=60)
    ax.set_title(f"{dim} dimensions")
    ax.legend(fontsize=7)

plt.tight_layout()
plt.savefig("comparaison_dimensions.png", dpi=150)
plt.show()

Rabhadh sula ndéanann tú na figiúirí seo a léirmhíniú: déanann tionscadal saobhadh i gcónaí. Ní gá go mbeadh pointe aonair ar an ngraf aonair sa spás bunaidh, agus d’fhéadfadh dhá bhraisle atá greamaithe le chéile i 2D a bheith scartha go foirfe i 3,072 toise. Cabhraíonn léirshamhlú leat hipitéis a fhoirmiú, ach ní dhéanann sé í a bhailíochtú riamh. Braitheann bailíochtú ar na méadrachtaí a phléifimid i gCeacht 10.

Príomhphointí

  • Tionscadalaíonn t-SNE agus UMAP leabaithe isteach i 2D/3D chun iad a léirshamhlú
  • Is fearr UMAP go ginearálta mar gheall ar a luas agus a dhílseacht
  • Cumasaíonn Plotly léirshamhluithe 3D idirghníomhacha
  • Cabhraíonn léirshamhlú le cáilíocht na leabaithe a bhailíochtú agus le hanamálacha a bhrath