Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Οπτικοποίηση ενσωματώσεων

Μάθημα 5 / 22 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Στόχοι
  2. Η πρόκληση: 3.072 διαστάσεις
  3. Μείωση διαστατικότητας με t-SNE
  4. Μείωση με UMAP
  5. Διαδραστική οπτικοποίηση 3D
  6. Οπτικοποίηση της επίδρασης της μείωσης διαστατικότητας
  7. Βασικά σημεία

Στόχοι

  • Μείωση διανυσμάτων υψηλής διάστασης για οπτικοποίηση σε 2D/3D
  • Χρήση των t-SNE και UMAP για οπτικοποίηση
  • Ερμηνεία των οπτικών συστάδων

Η πρόκληση: 3.072 διαστάσεις

Οι ενσωματώσεις ζουν σε έναν χώρο 3.072 διαστάσεων που κανείς δεν μπορεί να οπτικοποιήσει άμεσα. Για να τις επιθεωρήσετε, πρέπει να τις προβάλουμε σε δύο ή τρεις διαστάσεις. Αυτό συνεπάγεται κάποια απώλεια πληροφοριών, αλλά διατηρεί την ουσιαστική δομή: τα σημεία που ήταν κοντά πρέπει να παραμείνουν κοντά. Πρόκειται για ένα ισχυρό εργαλείο διάγνωσης. Ένας διαχωρισμός συστάδας ή επικαλυπτόμενα θέματα γίνονται άμεσα αντιληπτά με μια ματιά, ενώ οι συγκεντρωτικές μετρικές ενδέχεται να τα χάσουν εντελώς.

Μείωση διαστατικότητας με t-SNE

Το t-SNE (t-distributed Stochastic Neighbor Embedding) είναι η κλασική μέθοδος. Βρίσκει μια διάταξη 2D όπου κάθε σημείο διατηρεί την αρχική του γειτονιά. Το παρακάτω παράδειγμα δημιουργεί σκόπιμα ένα σώμα κειμένου με τρία διακριτά θέματα — Τεχνητή Νοημοσύνη, μαγειρική και αθλητισμός — ώστε να μπορείτε να επαληθεύσετε ότι η προβολή ανακτά την αναμενόμενη δομή.

from openai import OpenAI
from sklearn.manifold import TSNE
import matplotlib.pyplot as plt
import numpy as np

client = OpenAI()

# Example corpus
textes = [
    # AI Cluster
    "Deep learning uses neural networks",
    "Machine learning transforms data science",
    "Transformers revolutionized NLP",
    "GPT-5 is a large language model",
    # Cooking Cluster
    "Chocolate cake recipe",
    "How to prepare ratatouille",
    "Basics of French pastry",
    "Oven baking techniques",
    # Sports Cluster
    "Paris Marathon attracts thousands of runners",
    "Interval training for running",
    "Soccer rules explained",
    "Sports nutrition and performance",
]

categories = (["AI"] * 4 + ["Cooking"] * 4 + ["Sports"] * 4)

# Generate embeddings
response = client.embeddings.create(
    input=textes,
    model="text-embedding-3-large"
)
embeddings = np.array([d.embedding for d in response.data])

# t-SNE reduction to 2D
tsne = TSNE(n_components=2, random_state=42, perplexity=4)
coords = tsne.fit_transform(embeddings)

# Visualization
couleurs = {"AI": "#2563eb", "Cooking": "#dc2626", "Sports": "#16a34a"}
fig, ax = plt.subplots(figsize=(10, 8))

for cat in couleurs:
    mask = [c == cat for c in categories]
    ax.scatter(
        coords[mask, 0], coords[mask, 1],
        c=couleurs[cat], label=cat, s=100, alpha=0.8
    )
    for i, (x, y) in enumerate(coords[mask]):
        idx = [j for j, m in enumerate(mask) if m][i]
        ax.annotate(
            textes[idx][:30] + "...",
            (x, y), fontsize=7, alpha=0.7
        )

ax.legend()
ax.set_title("t-SNE Visualization of Embeddings")
plt.tight_layout()
plt.savefig("tsne_embeddings.png", dpi=150)
plt.show()

Τρεις παράμετροι καθορίζουν το αποτέλεσμα. Η perplexity εξισορροπεί την τοπική έναντι της παγκόσμιας δομής, με τυπικές τιμές μεταξύ 5 και 50· εδώ ορίζεται σε 4 επειδή το σώμα κειμένου περιέχει μόνο δώδεκα σημεία και μια perplexity υψηλότερη από τους διαθέσιμους γείτονες θα παρήγαγε μια ασυνεπή προβολή. Η n_iter ορίζει τον αριθμό των επαναλήψεων βελτιστοποίησης, με ελάχιστο το 250 και ιδανικά περισσότερο από 1.000. Η random_state εξασφαλίζει την αναπαραγωγιμότητα: χωρίς αυτήν, δύο διαδοχικές εκτελέσεις αποδίδουν διαφορετικά σχήματα, καθιστώντας αδύνατη τη σύγκριση.

Μείωση με UMAP

Το UMAP (Uniform Manifold Approximation and Projection) προτιμάται συχνά έναντι του t-SNE επειδή είναι ταχύτερο και διατηρεί καλύτερα την παγκόσμια δομή. Με άλλα λόγια, η απόσταση μεταξύ δύο συστάδων σε ένα διάγραμμα UMAP έχει νόημα, ενώ με το t-SNE είναι αυθαίρετη.

import umap

# UMAP reduction to 2D
reducer = umap.UMAP(n_components=2, random_state=42, n_neighbors=5)
coords_umap = reducer.fit_transform(embeddings)

fig, ax = plt.subplots(figsize=(10, 8))

for cat in couleurs:
    mask = [c == cat for c in categories]
    ax.scatter(
        coords_umap[mask, 0], coords_umap[mask, 1],
        c=couleurs[cat], label=cat, s=100, alpha=0.8
    )

ax.legend()
ax.set_title("UMAP Visualization of Embeddings")
plt.tight_layout()
plt.savefig("umap_embeddings.png", dpi=150)
plt.show()

Ο παρακάτω πίνακας συνοψίζει τους συμβιβασμούς μεταξύ των δύο μεθόδων.

Κριτήριοt-SNEUMAP
ΤαχύτηταΑργή (O(n²))Γρήγορη
Παγκόσμια δομήΚακώς διατηρημένηΚαλά διατηρημένη
ΑναπαραγωγιμότηταΜεταβλητήΣταθερή
Παράμετροιperplexityn_neighbors, min_dist

Διαδραστική οπτικοποίηση 3D

Σε ένα σώμα κειμένου μερικών εκατοντάδων σημείων, ένα στατικό σχήμα γίνεται δυσανάγνωστο: οι ετικέτες επικαλύπτονται και δεν μπορείτε να διακρίνετε ποιο κείμενο αντιστοιχεί σε ποιο σημείο. Το Plotly λύνει αυτό το πρόβλημα μεταφέροντας τις πληροφορίες σε εργαλεία επεξηγήσεων (tooltips) και επιτρέποντάς σας να περιστρέψετε το νέφος σημείων.

import plotly.express as px
import pandas as pd

# Reduction to 3D
reducer_3d = umap.UMAP(n_components=3, random_state=42, n_neighbors=5)
coords_3d = reducer_3d.fit_transform(embeddings)

df = pd.DataFrame({
    "x": coords_3d[:, 0],
    "y": coords_3d[:, 1],
    "z": coords_3d[:, 2],
    "category": categories,
    "text": [t[:50] for t in textes]
})

fig = px.scatter_3d(
    df, x="x", y="y", z="z",
    color="category",
    hover_data=["text"],
    title="3D Embeddings"
)
fig.write_html("embeddings_3d.html")
fig.show()

Το προκύπτον αρχείο HTML είναι έτοιμο για κοινή χρήση. Αποτελεί έναν εξαιρετικό τρόπο να δείξετε σε μια επιχειρηματική ομάδα πώς κατανέμονται τα έγγραφά τους χωρίς να γράψετε ούτε μία γραμμή κώδικα.

Οπτικοποίηση της επίδρασης της μείωσης διαστατικότητας

Το Μάθημα 2 ανέφερε ότι η περικοπή ενός διανύσματος σε 256 διαστάσεις διατηρεί περίπου το 88% της ποιότητάς του. Αυτός ο αριθμός παραμένει αφηρημένος μέχρι να τον δείτε. Δημιουργώντας το ίδιο σώμα κειμένου σε τέσσερα διαφορετικά μεγέθη και προβάλλοντας κάθε έκδοση, παρατηρείτε άμεσα πότε αρχίζουν να εφάπτονται οι συστάδες. Αυτό σας επιτρέπει να αποφασίζετε βάσει αποδεικτικών στοιχείων και όχι βάσει ενός γενικού κανόνα.

dimensions_a_tester = [256, 512, 1536, 3072]

fig, axes = plt.subplots(1, 4, figsize=(24, 5))

for ax, dim in zip(axes, dimensions_a_tester):
    resp = client.embeddings.create(
        input=textes,
        model="text-embedding-3-large",
        dimensions=dim
    )
    embs = np.array([d.embedding for d in resp.data])
    tsne = TSNE(n_components=2, random_state=42, perplexity=4)
    coords = tsne.fit_transform(embs)

    for cat in couleurs:
        mask = [c == cat for c in categories]
        ax.scatter(coords[mask, 0], coords[mask, 1],
                   c=couleurs[cat], label=cat, s=60)
    ax.set_title(f"{dim} dimensions")
    ax.legend(fontsize=7)

plt.tight_layout()
plt.savefig("comparaison_dimensions.png", dpi=150)
plt.show()

Μια προειδοποίηση πριν ερμηνεύσετε αυτά τα σχήματα: η προβολή πάντα παραμορφώνει. Ένα μεμονωμένο σημείο στο γράφημα δεν είναι απαραίτητα μεμονωμένο στον αρχικό χώρο και δύο συστάδες κολλημένες μεταξύ τους σε 2D μπορεί να είναι τέλεια διαχωρισμένες σε 3.072 διαστάσεις. Η οπτικοποίηση σας βοηθά να διατυπώσετε μια υπόθεση, ποτέ να την επικυρώσετε. Η επικύρωση βασίζεται στις μετρικές που θα καλύψουμε στο Μάθημα 10.

Βασικά σημεία

  • Τα t-SNE και UMAP προβάλλουν ενσωματώσεις σε 2D/3D για οπτικοποίηση
  • Το UMAP προτιμάται γενικά για την ταχύτητα και την πιστότητά του
  • Το Plotly επιτρέπει διαδραστικές οπτικοποιήσεις 3D
  • Η οπτικοποίηση βοηθά στην επικύρωση της ποιότητας των ενσωματώσεων και στον εντοπισμό ανωμαλιών