Aqbeż għall-kontenut ewlieni
Malti— Agħżel lingwa
Menu

Viżwalizza l-embeddings

Lezzjoni 5 / 22 Aġġornat 29 ta’ Lulju 2026 Zviluppatur
F'din il-paġna
  1. Għanijiet
  2. L-isfida: 3,072 dimensjoni
  3. Tnaqqis tad-dimensjonalità b’t-SNE
  4. Tnaqqis b’UMAP
  5. Viżwalizzazzjoni interattiva 3D
  6. Viżwalizzazzjoni tal-effett tat-tnaqqis tad-dimensjonalità
  7. Punti Ewlenin

Għanijiet

  • Naqqas vetturi b’dimensjonijiet għoljin għal viżwalizzazzjoni 2D/3D
  • Uża t-SNE u UMAP għall-viżwalizzazzjoni
  • Interpreta l-gruppi viżwali (clusters)

L-isfida: 3,072 dimensjoni

L-embeddings jgħixu f’ispazju ta’ 3,072 dimensjoni li ħadd ma jista’ viżwalizza direttament. Biex tiċċekkjahom, trid tipproġettahom f’żewġ jew tliet dimensjonijiet. Dan jaċċetta xi telf ta’ informazzjoni iżda jippreserva l-istruttura essenzjali: il-punti li kienu qrib xulxin għandhom jibqgħu qrib. Dan huwa għodla djagnostika qawwija. Grupp maqsum jew temi li jikkoinċidu joħorġu b’daqqa t’għajn, filwaqt li metriċi aggregati jistgħu jonqsu milli jarawhom għalkollox.

Tnaqqis tad-dimensjonalità b’t-SNE

t-SNE (t-distributed Stochastic Neighbor Embedding) hija l-metodu klassiku. Issib layout 2D fejn kull punt iżomm il-viċinat oriġinali tiegħu. L-eżempju hawn taħt jibni deliberatament corpus bi tliet temi distinti—AI, tisjir, u sports—biex tkun tista’ tivverifika li l-projezzjoni tirrikupra l-istruttura mistennija.

from openai import OpenAI
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
import numpy as np

client = OpenAI()

# Example corpus
textes = [
    # AI Cluster
    "Deep learning uses neural networks",
    "Machine learning transforms data science",
    "Transformers revolutionized NLP",
    "GPT-5 is a large language model",
    # Cooking Cluster
    "Chocolate cake recipe",
    "How to prepare ratatouille",
    "Basics of French pastry",
    "Oven baking techniques",
    # Sports Cluster
    "Paris Marathon attracts thousands of runners",
    "Interval training for running",
    "Soccer rules explained",
    "Sports nutrition and performance",
]

categories = (["AI"] * 4 + ["Cooking"] * 4 + ["Sports"] * 4)

# Generate embeddings
response = client.embeddings.create(
    input=textes,
    model="text-embedding-3-large"
)
embeddings = np.array([d.embedding for d in response.data])

# t-SNE reduction to 2D
tsne = TSNE(n_components=2, random_state=42, perplexity=4)
coords = tsne.fit_transform(embeddings)

# Visualization
couleurs = {"AI": "#2563eb", "Cooking": "#dc2626", "Sports": "#16a34a"}
fig, ax = plt.subplots(figsize=(10, 8))

for cat in couleurs:
    mask = [c == cat for c in categories]
    ax.scatter(
        coords[mask, 0], coords[mask, 1],
        c=couleurs[cat], label=cat, s=100, alpha=0.8
    )
    for i, (x, y) in enumerate(coords[mask]):
        idx = [j for j, m in enumerate(mask) if m][i]
        ax.annotate(
            textes[idx][:30] + "...",
            (x, y), fontsize=7, alpha=0.7
        )

ax.legend()
ax.set_title("t-SNE Visualization of Embeddings")
plt.tight_layout()
plt.savefig("tsne_embeddings.png", dpi=150)
plt.show()

Tliet parametri jmexxu r-riżultat. Il-perplexity tibbilanċja l-istruttura lokali kontra dik globali, b’valuri tipiċi bejn 5 u 50; hawnhekk hija stabbilita għal 4 għax il-corpus fih biss tnax-il punt, u perplexity ogħla mill-viċini disponibbli tipproduċi projezzjoni inkohorenti. n_iter jistabbilixxi n-numru ta’ iterazzjonijiet ta’ ottimizzazzjoni, b’minimu ta’ 250 u idealment aktar minn 1,000. random_state jiżgura r-riproduċibbiltà: mingħajru, żewġ ġirjiet suċċessivi jipproduċu figuri differenti, u jagħmlu l-konfront impossibbli.

Tnaqqis b’UMAP

UMAP (Uniform Manifold Approximation and Projection) spiss tiġi preferuta fuq t-SNE għax hija aktar mgħaġġla u tippreserva aħjar l-istruttura globali. Fi kliem ieħor, id-distanza bejn żewġ gruppi fuq grafika UMAP tfisser xi ħaġa, filwaqt li ma’ t-SNE hija arbitrarja.

import umap

# UMAP reduction to 2D
reducer = umap.UMAP(n_components=2, random_state=42, n_neighbors=5)
coords_umap = reducer.fit_transform(embeddings)

fig, ax = plt.subplots(figsize=(10, 8))

for cat in couleurs:
    mask = [c == cat for c in categories]
    ax.scatter(
        coords_umap[mask, 0], coords_umap[mask, 1],
        c=couleurs[cat], label=cat, s=100, alpha=0.8
    )

ax.legend()
ax.set_title("UMAP Visualization of Embeddings")
plt.tight_layout()
plt.savefig("umap_embeddings.png", dpi=150)
plt.show()

It-tabella li ġejja tissintetizza l-kompromessi bejn iż-żewġ metodi.

Kriterjut-SNEUMAP
VelocitàBil-mod (O(n²))Mgħaġġla
Struttura globaliIppreservata ħażinIppreservata tajjeb
RiproduċibbiltàVarjabbliStabbli
Parametriperplexityn_neighbors, min_dist

Viżwalizzazzjoni interattiva 3D

Fuq corpus ta’ ftit mijiet ta’ punti, figura statika ssir leġġibbli: it-tikketti jikkoinċidu, u ma tistax tgħid liema test jikkorrispondi ma’ liema punt. Plotly isolvi dan billi tmexxi l-informazzjoni f’tooltips u jħallik iddawwar is-sħaba ta’ punti.

import plotly.express as px
import pandas as pd

# Reduction to 3D
reducer_3d = umap.UMAP(n_components=3, random_state=42, n_neighbors=5)
coords_3d = reducer_3d.fit_transform(embeddings)

df = pd.DataFrame({
    "x": coords_3d[:, 0],
    "y": coords_3d[:, 1],
    "z": coords_3d[:, 2],
    "category": categories,
    "text": [t[:50] for t in textes]
})

fig = px.scatter_3d(
    df, x="x", y="y", z="z",
    color="category",
    hover_data=["text"],
    title="3D Embeddings"
)
fig.write_html("embeddings_3d.html")
fig.show()

Il-fajl HTML li jirriżulta huwa lest biex jiġi kondiviż. Hija mod eċċellenti biex turi lil tim tan-negozju kif huma mqassma d-dokumenti tagħhom mingħajr ma tikteb linja waħda ta’ kodiċi.

Viżwalizzazzjoni tal-effett tat-tnaqqis tad-dimensjonalità

Il-lezzjoni 2 iddikjarat li t-tronkament ta’ vettur għal 256 dimensjoni jżomm madwar 88% tal-kwalità tiegħu. Dik iċ-ċifra tibqa’ astratta sakemm taraha. Billi tiġġenera l-istess corpus f’erba’ daqsijiet differenti u tipproġetta kull verżjoni, tosserva direttament meta l-gruppi jibdew jmissu xulxin. Dan jħallik tiddeċiedi abbażi ta’ evidenza minflok regola ġenerali.

dimensions_a_tester = [256, 512, 1536, 3072]

fig, axes = plt.subplots(1, 4, figsize=(24, 5))

for ax, dim in zip(axes, dimensions_a_tester):
    resp = client.embeddings.create(
        input=textes,
        model="text-embedding-3-large",
        dimensions=dim
    )
    embs = np.array([d.embedding for d in resp.data])
    tsne = TSNE(n_components=2, random_state=42, perplexity=4)
    coords = tsne.fit_transform(embs)

    for cat in couleurs:
        mask = [c == cat for c in categories]
        ax.scatter(coords[mask, 0], coords[mask, 1],
                   c=couleurs[cat], label=cat, s=60)
    ax.set_title(f"{dim} dimensions")
    ax.legend(fontsize=7)

plt.tight_layout()
plt.savefig("comparaison_dimensions.png", dpi=150)
plt.show()

Twissija qabel ma tinterpreta dawn il-figuri: il-projezzjoni dejjem tgħawweġ. Punt iżolat fuq il-grafika mhux neċessarjament huwa iżolat fl-ispazju oriġinali, u żewġ gruppi mwaħħlin flimkien f’2D jistgħu jkunu perfettament separati f’3,072 dimensjoni. Il-viżwalizzazzjoni tgħinek tifformula ipoteżi, qatt ma tivvalidaha. Il-validazzjoni tiddependi fuq il-metriċi li se nkopru fil-Lezzjoni 10.

Punti Ewlenin

  • t-SNE u UMAP jipproġettaw l-embeddings f’2D/3D għall-viżwalizzazzjoni
  • UMAP ġeneralment tiġi preferuta għall-veloċità u l-fedeltà tagħha
  • Plotly jippermetti viżwalizzazzjonijiet 3D interattivi
  • Il-viżwalizzazzjoni tgħen tivvalida l-kwalità tal-embeddings u tiskopri anomaliji