Vizualizuokite įterpinius
Šiame puslapyje
Tikslai
- Sumažinti didelės dimensijos vektorius 2D/3D vizualizacijai
- Naudoti t-SNE ir UMAP vizualizacijai
- Interpretuoti vaizdinius klasterius
Iššūkis: 3 072 dimensijos
Įterpiniai egzistuoja 3 072 dimensijų erdvėje, kurios niekas negali tiesiogiai vizualizuoti. Norint juos patikrinti, reikia projektuoti juos į dvi ar tris dimensijas. Tai reiškia tam tikrą informacijos praradimą, tačiau išsaugo esminę struktūrą: taškai, kurie buvo arti, turėtų likti arti. Tai galingas diagnostikos įrankis. Atskirtas klasteris ar besidubliuojančios temos iškart krenta į akis, tuo tarpu bendrieji rodikliai jų gali visiškai nepastebėti.
Dimensijų mažinimas naudojant t-SNE
t-SNE (t-paskirstytas stochastinis kaimynų įterpimas) yra klasikinis metodas. Jis suranda 2D išdėstymą, kuriame kiekvienas taškas išlaiko savo originalią kaimynystę. Toliau pateiktame pavyzdyje tyčia sukuriamas korpusas su trimis skirtingomis temomis – DI, maisto gaminimu ir sportu – kad galėtumėte patikrinti, ar projekcija atkuria tikėtiną struktūrą.
from openai import OpenAI
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
import numpy as np
client = OpenAI()
# Example corpus
textes = [
# AI Cluster
"Deep learning uses neural networks",
"Machine learning transforms data science",
"Transformers revolutionized NLP",
"GPT-5 is a large language model",
# Cooking Cluster
"Chocolate cake recipe",
"How to prepare ratatouille",
"Basics of French pastry",
"Oven baking techniques",
# Sports Cluster
"Paris Marathon attracts thousands of runners",
"Interval training for running",
"Soccer rules explained",
"Sports nutrition and performance",
]
categories = (["AI"] * 4 + ["Cooking"] * 4 + ["Sports"] * 4)
# Generate embeddings
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
embeddings = np.array([d.embedding for d in response.data])
# t-SNE reduction to 2D
tsne = TSNE(n_components=2, random_state=42, perplexity=4)
coords = tsne.fit_transform(embeddings)
# Visualization
couleurs = {"AI": "#2563eb", "Cooking": "#dc2626", "Sports": "#16a34a"}
fig, ax = plt.subplots(figsize=(10, 8))
for cat in couleurs:
mask = [c == cat for c in categories]
ax.scatter(
coords[mask, 0], coords[mask, 1],
c=couleurs[cat], label=cat, s=100, alpha=0.8
)
for i, (x, y) in enumerate(coords[mask]):
idx = [j for j, m in enumerate(mask) if m][i]
ax.annotate(
textes[idx][:30] + "...",
(x, y), fontsize=7, alpha=0.7
)
ax.legend()
ax.set_title("t-SNE Visualization of Embeddings")
plt.tight_layout()
plt.savefig("tsne_embeddings.png", dpi=150)
plt.show()
Rezultatą lemia trys parametrai. perplexity subalansuoja vietinę ir globalią struktūrą; tipinės reikšmės yra nuo 5 iki 50; čia ji nustatyta į 4, nes korpuse yra tik dvylika taškų, o didesnė nei turimų kaimynų „perplexity“ reikšmė sukurtų nenuoseklią projekciją. n_iter nustato optimizavimo iteracijų skaičių; minimali vertė yra 250, o idealiai – daugiau nei 1 000. random_state užtikrina atkuriamumą: be jo du iš eilės paleisti veiksmai duotų skirtingus paveikslėlius, todėl palyginimas taptų neįmanomas.
Mažinimas naudojant UMAP
UMAP (Uniform Manifold Approximation and Projection) dažnai yra pageidaujamas vietoj t-SNE, nes jis veikia greičiau ir geriau išsaugo globalią struktūrą. Kitaip tariant, atstumas tarp dviejų klasterių UMAP grafike ką nors reiškia, tuo tarpu naudojant t-SNE jis yra savavališkas.
import umap
# UMAP reduction to 2D
reducer = umap.UMAP(n_components=2, random_state=42, n_neighbors=5)
coords_umap = reducer.fit_transform(embeddings)
fig, ax = plt.subplots(figsize=(10, 8))
for cat in couleurs:
mask = [c == cat for c in categories]
ax.scatter(
coords_umap[mask, 0], coords_umap[mask, 1],
c=couleurs[cat], label=cat, s=100, alpha=0.8
)
ax.legend()
ax.set_title("UMAP Visualization of Embeddings")
plt.tight_layout()
plt.savefig("umap_embeddings.png", dpi=150)
plt.show()
Šioje lentelėje apibendrinami abiejų metodų kompromisai.
| Kriterijus | t-SNE | UMAP |
|---|---|---|
| Greitis | Lėtas (O(n²)) | Greitas |
| Globali struktūra | Prastai išsaugota | Gerai išsaugota |
| Atkuriamumas | Kintamas | Stabilus |
| Parametrai | perplexity | n_neighbors, min_dist |
Interaktyvi 3D vizualizacija
Kai korpuse yra keli šimtai taškų, statinis paveikslėlis tampa neįskaitomas: etiketės persidengia ir negalite atskirti, kuris tekstas atitinka kurį tašką. „Plotly“ tai išsprendžia perkeldamas informaciją į patarimus ir leisdamas sukioti taškų debesį.
import plotly.express as px
import pandas as pd
# Reduction to 3D
reducer_3d = umap.UMAP(n_components=3, random_state=42, n_neighbors=5)
coords_3d = reducer_3d.fit_transform(embeddings)
df = pd.DataFrame({
"x": coords_3d[:, 0],
"y": coords_3d[:, 1],
"z": coords_3d[:, 2],
"category": categories,
"text": [t[:50] for t in textes]
})
fig = px.scatter_3d(
df, x="x", y="y", z="z",
color="category",
hover_data=["text"],
title="3D Embeddings"
)
fig.write_html("embeddings_3d.html")
fig.show()
Gautas HTML failas yra paruoštas bendrinti. Tai puikus būdas parodyti verslo komandai, kaip paskirstyti jų dokumentai, neparašius nė vienos kodo eilutės.
Dimensijų mažinimo efekto vizualizavimas
2 pamokoje buvo teigiama, kad vektoriaus sutrumpinimas iki 256 dimensijų išlaiko apie 88 % jo kokybės. Šis skaičius lieka abstraktus, kol jo nepamatote. Sugeneravus tą patį korpusą keturių skirtingų dydžių ir projektavus kiekvieną versiją, galite tiesiogiai stebėti, kada klasteriai pradeda liestis. Tai leidžia priimti sprendimus remiantis įrodymais, o ne bendra taisykle.
dimensions_a_tester = [256, 512, 1536, 3072]
fig, axes = plt.subplots(1, 4, figsize=(24, 5))
for ax, dim in zip(axes, dimensions_a_tester):
resp = client.embeddings.create(
input=textes,
model="text-embedding-3-large",
dimensions=dim
)
embs = np.array([d.embedding for d in resp.data])
tsne = TSNE(n_components=2, random_state=42, perplexity=4)
coords = tsne.fit_transform(embs)
for cat in couleurs:
mask = [c == cat for c in categories]
ax.scatter(coords[mask, 0], coords[mask, 1],
c=couleurs[cat], label=cat, s=60)
ax.set_title(f"{dim} dimensions")
ax.legend(fontsize=7)
plt.tight_layout()
plt.savefig("comparaison_dimensions.png", dpi=150)
plt.show()
Prieš interpretuojant šiuos paveikslėlius, svarbus įspėjimas: projekcija visada iškraipo. Izoliuotas taškas grafike nebūtinai yra izoliuotas originalioje erdvėje, o du 2D susilietę klasteriai 3 072 dimensijose gali būti puikiai atskirti. Vizualizacija padeda suformuluoti hipotezę, bet niekada jos nepatvirtina. Patvirtinimas remiasi metrikomis, kurias nagrinėsime 10 pamokoje.
Svarbiausi punktai
- t-SNE ir UMAP projektuoja įterpinius į 2D/3D vizualizacijai
- UMAP paprastai yra pageidaujamas dėl savo greičio ir tikslumo
- „Plotly“ leidžia kurti interaktyvias 3D vizualizacijas
- Vizualizacija padeda patikrinti įterpinių kokybę ir aptikti anomalijas