Vizualizace vnoření
Na této stránce
Cíle
- Redukovat vysokodimenzionální vektory pro 2D/3D vizualizaci
- Použít t-SNE a UMAP pro vizualizaci
- Interpretovat vizuální shluky
Výzva: 3 072 dimenzí
Vnoření existují v prostoru o 3 072 dimenzích, který nikdo nedokáže přímo vizualizovat. Abys je mohl prozkoumat, musíš je promítnout do dvou nebo tří dimenzí. To sice znamená určitou ztrátu informací, ale zachovává to podstatnou strukturu: body, které byly blízko u sebe, by měly zůstat blízko. Je to mocný diagnostický nástroj. Rozdělený shluk nebo překrývající se témata okamžitě vyniknou, zatímco souhrnné metriky by je mohly zcela přehlédnout.
Redukce dimenzionality pomocí t-SNE
t-SNE (t-distributed Stochastic Neighbor Embedding) je klasická metoda. Najde 2D rozložení, kde každý bod zachovává své původní okolí. Následující příklad záměrně vytváří korpus se třemi odlišnými tématy – AI, vaření a sport – abys mohl ověřit, že projekce obnoví očekávanou strukturu.
from openai import OpenAI
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
import numpy as np
client = OpenAI()
# Example corpus
textes = [
# AI Cluster
"Deep learning uses neural networks",
"Machine learning transforms data science",
"Transformers revolutionized NLP",
"GPT-5 is a large language model",
# Cooking Cluster
"Chocolate cake recipe",
"How to prepare ratatouille",
"Basics of French pastry",
"Oven baking techniques",
# Sports Cluster
"Paris Marathon attracts thousands of runners",
"Interval training for running",
"Soccer rules explained",
"Sports nutrition and performance",
]
categories = (["AI"] * 4 + ["Cooking"] * 4 + ["Sports"] * 4)
# Generate embeddings
response = client.embeddings.create(
input=textes,
model="text-embedding-3-large"
)
embeddings = np.array([d.embedding for d in response.data])
# t-SNE reduction to 2D
tsne = TSNE(n_components=2, random_state=42, perplexity=4)
coords = tsne.fit_transform(embeddings)
# Visualization
couleurs = {"AI": "#2563eb", "Cooking": "#dc2626", "Sports": "#16a34a"}
fig, ax = plt.subplots(figsize=(10, 8))
for cat in couleurs:
mask = [c == cat for c in categories]
ax.scatter(
coords[mask, 0], coords[mask, 1],
c=couleurs[cat], label=cat, s=100, alpha=0.8
)
for i, (x, y) in enumerate(coords[mask]):
idx = [j for j, m in enumerate(mask) if m][i]
ax.annotate(
textes[idx][:30] + "...",
(x, y), fontsize=7, alpha=0.7
)
ax.legend()
ax.set_title("t-SNE Visualization of Embeddings")
plt.tight_layout()
plt.savefig("tsne_embeddings.png", dpi=150)
plt.show()
Výsledek řídí tři parametry. perplexity vyvažuje lokální a globální strukturu, přičemž typické hodnoty se pohybují mezi 5 a 50; zde je nastavena na 4, protože korpus obsahuje pouze dvanáct bodů a vyšší perplexita než počet dostupných sousedů by vedla k nesmyslné projekci. n_iter určuje počet optimalizačních iterací, s minimem 250 a ideálně více než 1 000. random_state zajišťuje reprodukovatelnost: bez něj by dva po sobě jdoucí běhy vytvořily různé grafy, což znemožňuje porovnání.
Redukce pomocí UMAP
UMAP (Uniform Manifold Approximation and Projection) je často preferován před t-SNE, protože je rychlejší a lépe zachovává globální strukturu. Jinými slovy, vzdálenost mezi dvěma shluky na grafu UMAP něco znamená, zatímco u t-SNE je libovolná.
import umap
# UMAP reduction to 2D
reducer = umap.UMAP(n_components=2, random_state=42, n_neighbors=5)
coords_umap = reducer.fit_transform(embeddings)
fig, ax = plt.subplots(figsize=(10, 8))
for cat in couleurs:
mask = [c == cat for c in categories]
ax.scatter(
coords_umap[mask, 0], coords_umap[mask, 1],
c=couleurs[cat], label=cat, s=100, alpha=0.8
)
ax.legend()
ax.set_title("UMAP Visualization of Embeddings")
plt.tight_layout()
plt.savefig("umap_embeddings.png", dpi=150)
plt.show()
Následující tabulka shrnuje kompromisy mezi oběma metodami.
| Kritérium | t-SNE | UMAP |
|---|---|---|
| Rychlost | Pomalá (O(n²)) | Rychlá |
| Globální struktura | Špatně zachována | Dobře zachována |
| Reprodukovatelnost | Proměnlivá | Stabilní |
| Parametry | perplexity | n_neighbors, min_dist |
Interaktivní 3D vizualizace
U korpusu o několika stovkách bodů se statický obrázek stává nečitelným: popisky se překrývají a nepoznáš, který text odpovídá kterému bodu. Plotly tento problém řeší přesunem informací do nástrojových tipů a umožňuje ti rotovat mračnem bodů.
import plotly.express as px
import pandas as pd
# Reduction to 3D
reducer_3d = umap.UMAP(n_components=3, random_state=42, n_neighbors=5)
coords_3d = reducer_3d.fit_transform(embeddings)
df = pd.DataFrame({
"x": coords_3d[:, 0],
"y": coords_3d[:, 1],
"z": coords_3d[:, 2],
"category": categories,
"text": [t[:50] for t in textes]
})
fig = px.scatter_3d(
df, x="x", y="y", z="z",
color="category",
hover_data=["text"],
title="3D Embeddings"
)
fig.write_html("embeddings_3d.html")
fig.show()
Výsledný soubor HTML je připraven ke sdílení. Je to vynikající způsob, jak obchodnímu týmu ukázat, jak jsou jejich dokumenty rozloženy, aniž bys musel napsat jediný řádek kódu.
Vizualizace efektu redukce dimenzionality
Lekce 2 uváděla, že zkrácení vektoru na 256 dimenzí si zachová asi 88 % jeho kvality. Toto číslo zůstává abstraktní, dokud ho neuvidíš. Vygenerováním stejného korpusu ve čtyřech různých velikostech a promítnutím každé verze přímo pozoruješ, kdy se shluky začnou dotýkat. To ti umožňuje rozhodovat se na základě důkazů, nikoliv obecného pravidla.
dimensions_a_tester = [256, 512, 1536, 3072]
fig, axes = plt.subplots(1, 4, figsize=(24, 5))
for ax, dim in zip(axes, dimensions_a_tester):
resp = client.embeddings.create(
input=textes,
model="text-embedding-3-large",
dimensions=dim
)
embs = np.array([d.embedding for d in resp.data])
tsne = TSNE(n_components=2, random_state=42, perplexity=4)
coords = tsne.fit_transform(embs)
for cat in couleurs:
mask = [c == cat for c in categories]
ax.scatter(coords[mask, 0], coords[mask, 1],
c=couleurs[cat], label=cat, s=60)
ax.set_title(f"{dim} dimensions")
ax.legend(fontsize=7)
plt.tight_layout()
plt.savefig("comparaison_dimensions.png", dpi=150)
plt.show()
Než začneš tyto grafy interpretovat, jedno varování: projekce vždy zkresluje. Izolovaný bod na grafu nemusí být nutně izolovaný v původním prostoru a dva shluky slepené dohromady ve 2D mohou být v 3 072 dimenzích dokonale oddělené. Vizualizace ti pomáhá formulovat hypotézu, nikdy ji však nevaliduje. Validace spoléhá na metriky, kterými se budeme zabývat v lekci 10.
Klíčové poznatky
- t-SNE a UMAP promítají vnoření do 2D/3D pro vizualizaci
- UMAP je obecně preferován kvůli své rychlosti a věrnosti
- Plotly umožňuje interaktivní 3D vizualizace
- Vizualizace pomáhá ověřit kvalitu vnoření a odhalit anomálie