Μετάβαση στο κύριο περιεχόμενο
Ελληνικά— Επιλέξτε γλώσσα
Μενού

Απόσταση και Ομοιότητα Συνημιτόνου

Μάθημα 4 / 22 Ενημερώθηκε 29 Ιουλίου 2026 Για developers
Σε αυτήν τη σελίδα
  1. Στόχοι
  2. Μέτρηση Εγγύτητας Μεταξύ Διανυσμάτων
  3. Πρακτική Σύγκριση
  4. Ερμηνεία Βαθμολογιών
  5. Αναζήτηση Πλησιέστερου Γείτονα
  6. Με το scikit-learn
  7. Βασικά σημεία

Στόχοι

  • Να κατανοήσετε την ομοιότητα συνημιτόνου και γιατί προτιμάται
  • Να υλοποιήσετε τη σύγκριση διανυσμάτων σε Python
  • Να ερμηνεύσετε τις βαθμολογίες ομοιότητας

Μέτρηση Εγγύτητας Μεταξύ Διανυσμάτων

Αφού μετατρέψετε τα κείμενά σας σε διανύσματα, όλα εξαρτώνται από ένα ερώτημα: πώς αποφασίζετε αν δύο διανύσματα είναι «κοντά»; Υπάρχουν τρεις απαντήσεις και η επιλογή έχει σημασία.

Η Ευκλείδεια απόσταση είναι η κλασική γεωμετρική απόσταση—αυτή που θα μετρούσατε με έναν χάρακα μεταξύ δύο σημείων. Είναι διαισθητική, αλλά εξαρτάται από το μέγεθος του διανύσματος: δύο κείμενα με το ίδιο νόημα, όπου το ένα κωδικοποιείται με μεγαλύτερο πλάτος, θα φαίνονταν τεχνητά μακριά το ένα από το άλλο.

import numpy as np

def euclidean_distance(a: list[float], b: list[float]) -> float:
    return np.linalg.norm(np.array(a) - np.array(b))

Το εσωτερικό γινόμενο αθροίζει τα γινόμενα στοιχείο προς στοιχείο. Είναι η ταχύτερη πράξη στην οικογένεια—αυτή που εκτελεί ο επεξεργαστής με τη μεγαλύτερη αποτελεσματικότητα σε μεγάλους πίνακες.

def dot_product(a: list[float], b: list[float]) -> float:
    return np.dot(a, b)

Η ομοιότητα συνημιτόνου, τέλος, μετρά τη γωνία μεταξύ δύο διανυσμάτων ανεξάρτητα από το μήκος τους, καθιστώντας την το πρότυπο μέτρο για τις ενσωματώσεις: μόνο η κατεύθυνση του νοήματος έχει σημασία, όχι η έντασή του.

def cosine_similarity(a: list[float], b: list[float]) -> float:
    a, b = np.array(a), np.array(b)
    return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))

Κυμαίνεται από -1 για αντίθετες κατευθύνσεις έως +1 για πανομοιότυπες κατευθύνσεις. Μια πρακτική λεπτομέρεια έχει σημασία: οι ενσωματώσεις της OpenAI είναι ήδη κανονικοποιημένες, που σημαίνει ότι έχουν μήκος 1. Επομένως, ο παρονομαστής ισούται με 1 και το εσωτερικό γινόμενο δίνει ακριβώς το ίδιο αποτέλεσμα με την ομοιότητα συνημιτόνου—με χαμηλότερο υπολογιστικό κόστος. Αυτή η συντόμευση θα χρησιμοποιήσουμε σε όλη τη διάρκεια αυτού του μαθήματος.

Πρακτική Σύγκριση

Τίποτα δεν ξεπερνά τη μέτρηση πραγματικών προτάσεων. Ας συγκρίνουμε μια πρόταση, την πλήρη παραφράση της και μια άσχετη πρόταση:

from openai import OpenAI

client = OpenAI()

def get_embedding(text: str) -> list[float]:
    response = client.embeddings.create(
        input=text,
        model="text-embedding-3-large"
    )
    return response.data[0].embedding

# Προτάσεις προς σύγκριση
sentences = {
    "a": "The cat sleeps on the couch",
    "b": "The feline dozes on the sofa",
    "c": "Python is a programming language",
}

embeddings = {k: get_embedding(v) for k, v in sentences.items()}

# Σύγκριση όλων των ζευγών
from itertools import combinations

for (k1, v1), (k2, v2) in combinations(sentences.items(), 2):
    sim = cosine_similarity(embeddings[k1], embeddings[k2])
    print(f"sim({k1}, {k2}) = {sim:.4f}")
    print(f"  {v1}")
    print(f"  {v2}")
    print()

Τυπικό αποτέλεσμα:

sim(a, b) = 0.8923   ← πολύ κοντινό νόημα
sim(a, c) = 0.1247   ← διαφορετικά θέματα
sim(b, c) = 0.1189   ← διαφορετικά θέματα

Οι προτάσεις a και b δεν μοιράζονται λέξεις—cat/feline, sleeps/dozes, couch/sofa—ωστόσο βαθμολογούνται με 0,89. Αυτό είναι ακριβώς αυτό που καμία λεξική μέθοδος δεν μπορεί να επιτύχει.

Ερμηνεία Βαθμολογιών

Τα κατώφλια εξαρτώνται από τη χρήση σας, αλλά ο παρακάτω πίνακας δίνει σημεία αναφοράς για την ανάγνωση μιας βαθμολογίας χωρίς να αστοχείτε κατά τάξη μεγέθους.

ΒαθμολογίαΕρμηνεία
> 0,85Πολύ παρόμοια (παραφράσεις, συνώνυμα)
0,70 – 0,85Θεματικά συσχετισμένα
0,40 – 0,70Χαλαρά συσχετισμένα
< 0,40Διαφορετικά θέματα

Αυτές οι τιμές ποικίλλουν ανά μοντέλο και τομέα: ένα νομικό σώμα κειμένων, όπου όλα τα κείμενα μοιράζονται το ίδιο επίσημο λεξιλόγιο, παράγει γενικά υψηλότερες βαθμολογίες από ένα σώμα κειμένων γενικής χρήσης, στο σημείο που ένα κατώφλι 0,70 γίνεται υπερβολικά επιεικές. Να βαθμονομείτε πάντα στα δικά σας δεδομένα παρατηρώντας περίπου τριάντα ζεύγη όπου γνωρίζετε την αναμενόμενη απάντηση.

Αναζήτηση Πλησιέστερου Γείτονα

Η εύρεση ενός εγγράφου σημαίνει υπολογισμό της ομοιότητας μεταξύ του διανύσματος ερωτήματος και όλων των διανυσμάτων στο σώμα κειμένων, και στη συνέχεια διατήρηση των κορυφαίων k. Το κόλπο είναι να αποφύγετε τους βρόχους στην Python: ένας πολλαπλασιασμός πινάκων NumPy υπολογίζει όλες τις ομοιότητες ταυτόχρονα, σε κλάσμα του χρόνου.

def search_similar(
    query_embedding: list[float],
    corpus_embeddings: np.ndarray,
    k: int = 5
) -> list[tuple[int, float]]:
    """Επιστρέφει τα k πιο παρόμοια έγγραφα."""
    query = np.array(query_embedding)

    # Διανυσματικός υπολογισμός όλων των ομοιοτήτων
    similarities = corpus_embeddings @ query
    # (λειτουργεί επειδή οι ενσωματώσεις της OpenAI είναι κανονικοποιημένες)

    # Δείκτες των κορυφαίων k βαθμολογιών
    top_k_indices = np.argsort(similarities)[-k:][::-1]

    return [(int(i), float(similarities[i])) for i in top_k_indices]

# Χρήση
corpus = np.load("embeddings.npy")  # πίνακας (n, 3072)
query_emb = get_embedding("How do I install Python?")

results = search_similar(query_emb, corpus, k=5)
for idx, score in results:
    print(f"Document {idx}: score = {score:.4f}")

Το [-k:][::-1] αξίζει μια δεύτερη ματιά: το argsort ταξινομεί με αύξουσα σειρά, οπότε παίρνουμε το τέλος του πίνακα για να λάβουμε τις καλύτερες βαθμολογίες και μετά αντιστρέφουμε για να τις κατατάξουμε από τις πιο σχετικές στις λιγότερο σχετικές.

Με το scikit-learn

Όταν δεν αναζητάτε ένα έγγραφο αλλά θέλετε να συγκρίνετε ολόκληρο το σώμα κειμένων με τον εαυτό του—για να εντοπίσετε διπλότυπα, για παράδειγμα, ή να προετοιμαστείτε για ομαδοποίηση—το scikit-learn παρέχει μια βελτιστοποιημένη συνάρτηση που επιστρέφει τον πλήρη πίνακα.

from sklearn.metrics.pairwise import cosine_similarity
import numpy as np

# Πίνακας ομοιότητας μεταξύ όλων των εγγράφων
corpus = np.array(embeddings_list)
sim_matrix = cosine_similarity(corpus)

print(f"Shape: {sim_matrix.shape}")  # (n, n)
print(f"Similarity doc 0 ↔ doc 1: {sim_matrix[0][1]:.4f}")

Λάβετε υπόψη ότι αυτός ο πίνακας έχει μέγεθος n × n: δέκα χιλιάδες έγγραφα παράγουν εκατό εκατομμύρια τιμές, περίπου 400 MB σε float32. Πέρα από μερικές χιλιάδες στοιχεία, επεξεργαστείτε σε μπλοκ αντί να κάνετε μια ενιαία κλήση.

Βασικά σημεία

  • Η ομοιότητα συνημιτόνου μετρά τη γωνία μεταξύ διανυσμάτων, ανεξάρτητα από το μέγεθός τους
  • Οι ενσωματώσεις της OpenAI είναι κανονικοποιημένες: εσωτερικό γινόμενο = συνημίτονο
  • Μια βαθμολογία > 0,85 υποδηλώνει πολύ παρόμοια κείμενα
  • Η αναζήτηση πλησιέστερου γείτονα γίνεται αποτελεσματικά με NumPy ή scikit-learn